详细内容或原文请订阅后点击阅览
LLM 函数调用的不确定性量化
大型语言模型 (LLM) 越来越多地用于自主解决现实世界的任务。其中一个关键要素是法学硕士函数调用范式，这是一种广泛使用的方法，为法学硕士配备工具使用功能。然而，LLM 错误地调用函数可能会产生严重影响，特别是当其影响不可逆转时，例如转账或删除数据。因此，在执行函数调用之前，考虑法学硕士对函数调用正确解决任务的信心至关重要。不确定性量化（UQ）方法可用于量化……
来源:Apple机器学习研究大型语言模型 (LLM) 越来越多地用于自主解决现实世界的任务。其中一个关键要素是法学硕士函数调用范式，这是一种广泛使用的方法，为法学硕士配备工具使用功能。然而，LLM 错误地调用函数可能会产生严重影响，特别是当其影响不可逆转时，例如转账或删除数据。因此，在执行函数调用之前，考虑法学硕士对函数调用正确解决任务的信心至关重要。不确定性量化 (UQ) 方法可用于量化这种置信度并防止潜在的错误函数调用。在这项工作中，据我们所知，我们提出了对 LLM 函数调用 (FC) 的 UQ 方法的首次评估。虽然多样本 UQ 方法（例如语义熵）在自然语言问答任务中表现出强大的性能，但我们发现在 FC 设置中，它与简单的单样本 UQ 方法相比没有明显的优势。此外，我们发现可以利用 FC 输出的特殊性来提高现有 UQ 方法在此设置中的性能。具体来说，多样本 UQ 方法受益于基于抽象语法树解析的 FC 输出聚类，而单样本 UQ 方法可以通过在计算基于 Logit 的不确定性得分时仅选择语义上有意义的标记来改进。