Meta 的 COCONUT:无需语言即可思考的 AI 方法

当研究人员首次发现大型语言模型 (LLM) 可以通过思路链提示逐步“思考”时,这是一个突破性的时刻——我们终于可以窥视这些黑匣子的推理过程了。但是,如果我告诉你,让 AI 模型用自然语言思考可能会阻碍它们的发展呢?那 […]Meta 的 COCONUT:无需语言思考的 AI 方法首次出现在 Unite.AI 上。

来源:Unite.AI

了解 COCONUT 的创新

想象一下大声说出你的想法和大脑中实际发生的心理过程之间的区别。这种差距——言语化的想法和神经活动之间的差距——正是 Meta 的研究人员利用 COCONUT 所利用的。

COCONUT 的真正突破在于它如何让人工智能模型以两种不同的方式思考,就像人类一样。想想当你在解决一个复杂的难题时——你不会在脑子里叙述每一个可能的动作,对吧?相反,你:

    吸收问题:你吸收信息(如阅读谜题规则)默默思考:你的大脑会探索多种可能性,而无需用语言表达出来分享解决方案:只有这样你才能向他人解释你的想法
  • 吸收问题:你吸收信息(如阅读谜题规则)
  • 吸收问题
  • 默默思考:你的大脑会探索多种可能性,而无需用语言表达出来
  • 默默思考
  • 分享解决方案:只有这样你才能向他人解释你的想法
  • 分享解决方案

    COCONUT 为 AI 模型提供了同样的自然灵活性。它不会强迫它们大声“说出”每个想法(如传统方法),而是让它们在自然的神经空间中思考——研究人员称之为“潜在空间”。

    该模型可以在两种模式之间顺利切换:

      当它需要理解问题或给出答案时,它使用常规语言但对于实际的思考过程?它使用纯粹的神经模式,不受词语的限制
  • 当它需要理解问题或给出答案时,它使用常规语言
  • 但对于实际的思考过程?它使用纯粹的神经模式,不受词语的限制
  • 图片:Meta

    训练之旅

    研究人员对 COCONUT 采取了这种确切的方法:

    第 1 阶段:基础

    第 1 阶段:基础

    首先,该模型像任何其他 AI 一样学习 - 通过传统的思路推理。这为其提供了坚实的基础理解。

    第 2 阶段:过渡

    第 2 阶段:过渡