详细内容或原文请订阅后点击阅览
研究人员发现了一个导致法学硕士不太可靠的缺点
大型语言模型可以学习错误地将某些句子模式与特定主题联系起来 - 然后可能会重复这些模式而不是推理。
来源:MIT新闻 - 人工智能根据麻省理工学院的一项研究，大型语言模型 (LLM) 有时会学到错误的教训。
法学硕士可以利用在培训期间学到的语法模式来做出响应，而不是根据领域知识来回答查询。这可能会导致模型在部署新任务时意外失败。
研究人员发现，模型可能会错误地将某些句子模式与特定主题联系起来，因此法学硕士可能会通过识别熟悉的措辞而不是理解问题来给出令人信服的答案。
他们的实验表明，即使是最强大的法学硕士也会犯这个错误。
这一缺点可能会降低法学硕士执行处理客户查询、总结临床记录和生成财务报告等任务的可靠性。
它还可能存在安全风险。不法分子可能会利用这一点来欺骗法学硕士制作有害内容，即使模型有防止此类反应的保障措施。
在识别这种现象并探索其影响后，研究人员开发了一个基准测试程序来评估模型对这些不正确相关性的依赖。该过程可以帮助开发人员在部署法学硕士之前缓解问题。
“这是我们训练模型的副产品，但模型现在在安全关键领域的实践中使用，远远超出了创建这些句法故障模式的任务。如果您作为最终用户不熟悉模型训练，这可能会出乎您的意料，”麻省理工学院电气工程和计算机科学 (EECS) 系副教授、麻省理工学院医学工程科学研究所和信息与决策系统实验室的成员、该论文的资深作者 Marzyeh Ghassemi 说道。研究。
描述工作的论文陷入语法困境
在之前的工作中，研究人员发现法学硕士能够识别训练数据中经常一起出现的词性模式。他们将这些词性模式称为“句法模板”。