详细内容或原文请订阅后点击阅览
自我发展AI的年龄在这里
META的最新突破如何让模型学习，适应和改进 - 所有这些都首先出现在数据科学方面。
来源:走向数据科学1。
在我以前的一篇文章中，我们探索了Google的泰坦（Behrouz等，2024）1，以及如何使用TTT（测试时间培训）为LLM配备类似人类的可爱记忆，这可以在测试时更新其信息。
文章 Behrouz等，2024 1测试时间培训是一个范式，可以使模型在看不见的数据上更新其参数。但是在测试时间，没有任何地面真相标签可以帮助将模型引导到正确的方向（因为这是明显的作弊）。取而代之的是，它使用数据执行任务（设计并融入模型），这使模型“下意识地”了解了它。
此类任务的示例可以是：
- 旋转预测（Gidaris等，2018）2：输入图像是任意旋转（例如，以90°，180°或270°）旋转，并制作模型以预测哪个是正确的方向。这使其能够识别出显着的特征，并确定哪种方式是“向上”。遮挡语言建模（Devlin等，2019）3：从测试实例中掩盖了一个或多个令牌。该模型的工作是预测丢失的令牌，而被遮罩的令牌作为地面真理，激励了对语言的多方面理解。自信最大化（Sun等，2020）4：激励模型以使其输出逻辑使其输出逻辑（例如，分类逻辑[0.3，0.4，0.4，0.3）to ebiming（eb）。它的外交倾向。