代码链:使用语言模型的推理 -
机构名称:
¥ 1.0

代码提供了一种一般的句法结构来构建复杂的程序并与代码解释器配对时执行精确的计算 - 我们假设语言模型(LMS)可以利用代码编写来提高思想链推理不仅用于逻辑和算术任务(Chen等人 ,2022; Nye等。 ,2021;奥斯汀等。 ,2021),但也适用于语义(尤其是两者的混合物)。 例如,考虑提示LM编写代码,以计算其在论文中检测到的讽刺的次数:LM可能难以编写“ destect_sarcasm(string)”可以由解释器执行的实现(处理边缘案例将是不可公司执行的)。 但是,如果LMS不仅编写代码,还可以通过生成“ destect_sarcasm(string)”的预期输出来选择性地“仿真”解释器,那么LMS仍可能会产生有效的解决方案。 在这项工作中,我们提出了代码链(COC),这是一种简单而有效的扩展,可改善LM代码驱动的推理。 关键想法是鼓励LMS在程序中格式化语义子任务作为灵活的伪代码,而解释器可以明确地捕获未定义的行为并用LM进行模拟(作为“ LMULATOR”)。 实验表明,代码链的表现优于各种基准的思想链和其他基线。在大基础上,代码链可实现84%,比思想链增长了12%。 简而言之,COC扩大了LMS可以通过“代码思考”来回答的推理问题的范围。,2022; Nye等。,2021;奥斯汀等。,2021),但也适用于语义(尤其是两者的混合物)。例如,考虑提示LM编写代码,以计算其在论文中检测到的讽刺的次数:LM可能难以编写“ destect_sarcasm(string)”可以由解释器执行的实现(处理边缘案例将是不可公司执行的)。但是,如果LMS不仅编写代码,还可以通过生成“ destect_sarcasm(string)”的预期输出来选择性地“仿真”解释器,那么LMS仍可能会产生有效的解决方案。在这项工作中,我们提出了代码链(COC),这是一种简单而有效的扩展,可改善LM代码驱动的推理。关键想法是鼓励LMS在程序中格式化语义子任务作为灵活的伪代码,而解释器可以明确地捕获未定义的行为并用LM进行模拟(作为“ LMULATOR”)。实验表明,代码链的表现优于各种基准的思想链和其他基线。在大基础上,代码链可实现84%,比思想链增长了12%。简而言之,COC扩大了LMS可以通过“代码思考”来回答的推理问题的范围。

代码链:使用语言模型的推理 -

代码链:使用语言模型的推理 -PDF文件第1页

代码链:使用语言模型的推理 -PDF文件第2页

代码链:使用语言模型的推理 -PDF文件第3页

代码链:使用语言模型的推理 -PDF文件第4页

代码链:使用语言模型的推理 -PDF文件第5页

相关文件推荐

使用大语言模型
2024 年
¥1.0
使用大语言模型
2024 年
¥1.0
大语言模型的基础
2025 年
¥23.0
使用生成语言模型
2024 年
¥4.0