详细内容或原文请订阅后点击阅览
您对LLM不公平吗?
他们可能应该得到更好的。您对LLM不公平吗?首先出现在数据科学上。
来源:走向数据科学围绕AI的炒作,关于LLM智能的性质的一些信息不足的想法正在浮动,我想解决其中的一些。我将提供资源 - 大多数预印本 - 欢迎您对此事的想法。
我为什么认为这个话题很重要?首先,我觉得我们正在创造一种新的智能,以许多方式与我们竞争。因此,我们应该公平判断它。其次,AI的主题是内省的。它提出了有关我们的思维过程,我们的独特性和优于其他生物的感觉的问题。
Millière和Buckner写[1]: 特别是,我们需要了解LLM对它们产生的句子的代表,而这些句子是关于他们所产生的。仅凭扶手椅的推测就无法获得这种理解。它要求仔细的实证研究。 llms不仅仅是预测机 深神经网络可以使用线性非线性路径形成复杂的结构。神经元可以在叠加中采用多个功能[2]。此外,LLM构建了他们分析的上下文的内部世界模型和思维图[3]。因此,它们不仅是下一个单词的预测机。他们的内部激活将提前考虑到声明的结尾 - 他们有一个基本的计划[4]。 但是,所有这些功能都取决于模型的大小和性质,因此它们可能会有所不同,尤其是在特定情况下。这些一般能力是一个积极的研究领域,可能与人类思维过程更相似,而不是拼写检查员的算法(如果您需要选择两者之一)。 llms显示创造力的迹象 面对新任务时,LLM不仅可以反驳记忆的内容。相反,他们可以产生自己的答案[5]。 Wang等。分析了模型的输出与桩数据集的关系,发现更大的模型在回忆事实和创建更多新颖的内容方面都可以推进。 桩数据集 在TDS上报告 计算创造力 转向向量 ,
Millière和Buckner写[1]:
特别是,我们需要了解LLM对它们产生的句子的代表,而这些句子是关于他们所产生的。仅凭扶手椅的推测就无法获得这种理解。它要求仔细的实证研究。
llms不仅仅是预测机
深神经网络可以使用线性非线性路径形成复杂的结构。神经元可以在叠加中采用多个功能[2]。此外,LLM构建了他们分析的上下文的内部世界模型和思维图[3]。因此,它们不仅是下一个单词的预测机。他们的内部激活将提前考虑到声明的结尾 - 他们有一个基本的计划[4]。
但是,所有这些功能都取决于模型的大小和性质,因此它们可能会有所不同,尤其是在特定情况下。这些一般能力是一个积极的研究领域,可能与人类思维过程更相似,而不是拼写检查员的算法(如果您需要选择两者之一)。
llms显示创造力的迹象
面对新任务时,LLM不仅可以反驳记忆的内容。相反,他们可以产生自己的答案[5]。 Wang等。分析了模型的输出与桩数据集的关系,发现更大的模型在回忆事实和创建更多新颖的内容方面都可以推进。 桩数据集 在TDS上报告 计算创造力 转向向量,