详细内容或原文请订阅后点击阅览
解开大语模型的偏见
在一项新研究中，研究人员发现了LLMS中一种偏见的根本原因，为更准确和可靠的AI系统铺平了道路。
来源:MIT新闻 - 人工智能研究表明，大型语言模型（LLM）倾向于在文档或对话的开始和结束时过度强调信息，同时忽略了中间。
这种“职位偏见”意味着，如果律师使用LLM驱动的虚拟助手在30页的宣誓书中检索某个短语，则LLM在初始或最终页面上更有可能找到合适的文本。
麻省理工学院研究人员发现了这种现象背后的机制。
他们创建了一个理论框架，以研究信息如何流入形成LLM骨干的机器学习体系结构。他们发现某些设计选择模型处理输入数据如何导致位置偏差的设计选择。
他们的实验表明，模型体系结构，尤其是那些影响信息如何分布在模型中的输入单词的架构，可能会引起或加剧位置偏差，并且培训数据也会导致问题。
除了指出位置偏差的起源外，还可以使用其框架来诊断和纠正未来的模型设计。
这可能会导致更可靠的聊天机器人，这些聊天机器人在长时间的对话中保持主题，医疗AI系统，这些系统在处理一系列患者数据时会更加公平地推荐，而代码助手则密切关注程序的所有部分。
“这些型号是黑匣子，因此作为LLM用户，您可能不知道位置偏见会导致您的模型不一致。有关信息和决策系统（盖），以及有关这项研究的论文的第一作者。
纸分析注意力
在中间失落