Pre-training isn’t bitter enough
理查德·萨顿 (Richard Sutton) 的“惨痛教训”通常被解读为对人工智能系统构建过多人类知识的警告。从长远来看，获胜的方法不是那些最直接编码我们聪明直觉的方法，而是那些可扩展的方法：搜索、学习和其他可以吸收更多计算和数据的通用方法。乍一看，现代基础模型预训练看起来就像是该课程的胜利。我们采用通用架构，将其暴露给海量数据，并以简单的自我监督目标对其进行训练。语言模型预测下一个标记。视觉模型重建遮罩斑块、对齐视图或匹配教师表示。该配方简单且可扩展。但有一个问题。预训练可能会遵循“痛苦的教训”来训练模型，但不会选择模型应该训练的内容。目标仍然是在训练循环之外选择的。我们进行大规模的预训练
What AI Can’t Reach at the End of the Road
一批发展创业领军实践者惨痛教训。廉价的情报并不能弥补援助本应弥补的差距。事实上，如果不采取任何行动，这些差距可能会变得更大。《人工智能在路的尽头无法达到的目标》一文首先出现在阿斯彭研究所。
Top 5 Modern Improvements in Aviation Safety
航空事故的惨痛教训 多年来，发生了许多空难，这些空难成为航空安全发生巨大变化（改善）的催化剂。例如，1956 年，环球航空超级星座 (TWA Super Constellation) 飞机和联合航空 DC-7 飞机在大峡谷上空发生的悲惨事件导致了《联邦航空法》的出台，该法创建了美国联邦航空局 (FAA)，并导致了航空 [...] 继续阅读...航空安全领域的 5 大现代改进文章首先出现在《Cap'n Aux 历险记》中。
