语言模型 (LM) 用作大型程序的构建块,正在改变我们构建 AI 系统的方式。尽管人们投入大量资金将 LM “整合”为独立的通用系统,但面向用户的 LM 却不断捏造陈述并犯下根本性的推理错误,同时带来了巨大的成本。我的工作建立了基础模型编程,这是构建可靠且可扩展的 AI 系统的另一种范例。在其中,我们构建了多步骤程序,利用检索模型和 LM 作为模块,我们为这些模块分配范围明确但模糊的计算,例如检索、分解、合成和评分。然后,我们可以编译这些程序,即自动将它们转换为优化的提示或微调 LM 的策略,以最大限度地提高系统级质量并最大限度地降低成本。通过这种方式,我的研究推动了文档检索、问答、事实核查、信息对话和其他知识密集型自然语言处理 (NLP) 任务的最新发展。
主要关键词