详细内容或原文请订阅后点击阅览
通过高效微调进行时间敏感知识编辑
大型语言模型 (LLM) 在不同任务中表现出令人印象深刻的能力，并为许多领域带来了变革性的变化。然而，在预训练完成后，保持 LLM 中的知识最新仍然是一个挑战。因此，设计有效的方法来更新过时的知识并将新知识引入 LLM 至关重要。现有的定位和编辑知识编辑 (KE) 方法存在两个局限性。首先，通过此类方法编辑后的 LLM 通常无法很好地回答需要多跳推理的复杂查询。其次，…
来源:Apple机器学习研究大型语言模型 (LLM) 在不同任务中表现出令人印象深刻的能力，并为许多领域带来了变革性的变化。然而，在预训练完成后，保持 LLM 中的知识最新仍然是一个挑战。因此，设计有效的方法来更新过时的知识并将新知识引入 LLM 至关重要。现有的定位和编辑知识编辑 (KE) 方法存在两个限制。首先，通过此类方法编辑的 LLM 通常在回答需要多跳推理的复杂查询方面能力较差。其次，此类定位和编辑方法执行知识编辑的运行时间较长，使其在实践中不适用于大规模 KE。在本文中，我们探索参数高效微调 (PEFT) 技术作为 KE 的替代方案。我们整理了一个更全面的时间 KE 数据集，其中包含知识更新和知识注入示例，用于 KE 性能基准测试。我们进一步探讨了微调对 LLM 中一系列层对多跳 QA 任务的影响。我们发现，对于时间敏感的知识编辑，PEFT 的表现优于定位和编辑技术。