详细内容或原文请订阅后点击阅览
法学硕士不是（一致）贝叶斯：量化法学硕士概率信念的内部（不）一致性
现代人工智能系统正在被部署在医学、科学和法律等复杂领域，根据观察到的证据，这些领域通常没有一个正确的答案。当新证据出现时，此类系统必须能够代表和更新关于世界的不确定信念，以做出理性决策。我们引入了将法学硕士作为信息处理规则进行研究的新技术，并利用信息处理差距（与贝叶斯更新的偏差）来研究法学硕士如何根据证据更新其概率信念的内部（内）一致性。我们广泛的实验评估...
来源:Apple机器学习研究现代人工智能系统正在被部署在医学、科学和法律等复杂领域，根据观察到的证据，这些领域通常没有一个正确的答案。当新证据出现时，此类系统必须能够代表和更新关于世界的不确定信念，以做出理性决策。我们引入了将法学硕士作为信息处理规则进行研究的新技术，并利用信息处理差距（与贝叶斯更新的偏差）来研究法学硕士如何根据证据更新其概率信念的内部（内）一致性。我们广泛的实验评估了法学硕士可以将证据融入他们的信念的多种方法。其中一些方法产生（接近）贝叶斯更新，从而优化处理证据；其他人则使用学习的启发式方法。令人惊讶的是，就下游任务性能而言，非贝叶斯启发式更新通常优于精确贝叶斯更新（最佳信息处理），这表明法学硕士的世界概率模型是错误指定的。最后，我们展示了我们的方法如何提供诊断来识别 LLM 支持的推理系统的问题。