使AI生成的代码在任何语言中都更准确

一种新技术会自动指导LLM朝着遵守使用任何编程语言或其他格式的规则的输出。

来源:MIT新闻 - 人工智能

程序员现在可以使用大型语言模型(LLMS)更快地生成计算机代码。但是,如果该代码遵循编程语言的规则并且不会导致计算机崩溃,这只会使程序员的生活更加轻松。

存在一些方法,以确保LLM符合其生成文本的任何语言的规则,但是其中许多方法要么扭曲模型的预期含义,要么太耗时,无法对复杂的任务可行。

MIT和其他地方的研究人员开发的一种新方法会自动指导LLM生成遵守相关语言规则的文本,例如特定的编程语言,并且也无错误。他们的方法使LLM可以为最有可能有效和准确的输出分配努力,同时在此过程的早期丢弃无主张的输出。这种概率方法提高了计算效率。

由于这些效率的提高,研究人员的体系结构使小型LLMS能够超过更大的模型,以生成几种真实世界用例(包括分子生物学和机器人)的准确,结构恰当的输出。

从长远来看,这种新的体系结构可以帮助无XPERT控制AI生成的内容。例如,它可以允许商人在SQL(仅使用自然语言提示的数据库操作语言)中编写复杂的查询。

“这项工作超出了研究的含义。它可以通过确保AI生成的产出既有用,也可以改善AI驱动的数据分析和科学发现工具,” MIT研究生,也是该框架上论文的共同领导作者JoãoLoula说。

执行结构和含义

研究人员的方法涉及在LLM中进行工程知识,以将其转向最有前途的输出。这些输出更有可能遵循用户定义的结构约束,并具有用户打算的含义。