函数调用：在 xLAM 上微调 Llama 3

函数调用：在 xLAM 上微调 Llama 3

函数调用：在 xLAM 上微调 Llama 3

得益于 QLoRA，速度快且内存效率高

使用 DALL-E 生成

最近的大型语言模型 (LLM) 在大多数语言生成任务中都表现出色。但是，由于它们基于下一个标记预测进行操作，因此它们通常难以准确执行数学运算。此外，由于它们的知识匮乏，它们可能缺乏准确回答某些查询所需的信息。

缓解这些问题的一种方法是通过函数调用。函数调用允许 LLM 可靠地连接到外部工具。它支持与外部 API 交互。例如，通过将 LLM 与 Web 搜索引擎和计算器连接起来，可以通过函数调用从 Internet 检索信息并执行数学运算。

在本文中，我们将了解如何微调 LLM 以进行函数调用。我使用 xLAM，这是 Salesforce 发布的包含 60k 条函数调用条目的数据集，用于微调 Llama 3。我们将了解如何格式化数据集以及如何利用微调适配器进行函数调用。

我还制作了这个笔记本，实现了本文中描述的微调代码和一些推理示例：

获取笔记本 (#89)

获取笔记本 (#89)

LLM 的函数调用：如何……