大型语言模型可以弄清楚现实世界吗?

新测试可以帮助确定在一个区域中进行准确预测的AI系统是否足以很好地理解它,以将该能力应用于其他区域。

来源:MIT新闻 - 人工智能

早在17世纪,德国天文学家约翰内斯·开普勒(Johannes Kepler)弄清楚了运动定律,这使得能够准确预测我们的太阳系行星在绕太阳绕太阳绕的天空中出现在何处。但是直到几十年后,艾萨克·牛顿(Isaac Newton)制定了引力的普遍定律,才理解了基本原则。尽管它们受到开普勒定律的启发,但它们走得更远,并可以将相同的公式应用于从大炮球的轨迹到月球拉力控制地球上的潮汐的方式,或者如何从地球到月球或星球的表面发射卫星。

当今复杂的人工智能系统已经非常擅长做出类似于开普勒轨道预测的特定预测。但是,他们知道为什么这些预测有效,以及从牛顿法律等基本原则带来的深刻理解?随着世界的增长越来越依赖于这些类型的AI系统,研究人员正在努力尝试衡量他们如何做自己的工作以及对现实世界的真正理解的深入。

现在,麻省理工学院信息和决策系统实验室(LID)和哈佛大学的研究人员已经设计了一种新方法来评估这些预测系统对他们的主题的深入了解,以及他们是否可以将知识从一个领域应用于稍有不同的知识。总体而言,在他们研究的示例中,答案不是很多。

上个月在不列颠哥伦比亚省温哥华举行的国际机器学习会议上提出了调查结果,由哈佛大学博士后凯恩·瓦法(Harvard Postdoc Keyon Vafa),电气工程和计算机科学和盖子科学的研究生和盖子分支机构Peter G. Chang,麻省理工学院的助理教授兼LIDS助理教授兼LID助理研究员Ashesh Rambachan和Mit Senders extrantor,Mull Pressiver,LID HIL HIL和MITS PREACSAL,LID和MILS PREACATAR,兼校长。