详细内容或原文请订阅后点击阅览
在LLM个性化的途中：学习记住用户对话
在大型语言模型记忆的研讨会上接受了本文（L2M2）2025.LARGE语言模型（LLMS）已迅速成为各种任务的宝贵助手。但是，它们的有效性受到他们通过个性化对人类偏好和行为量身定制反应的能力的限制。 LLM个性化的先前工作主要集中在样式转移或对用户的小概况融合，因为知识注入仍然是一个开放的挑战。在本文中，我们探索将先前对话的知识注入LLM，以使未来的工作……
来源:Apple机器学习研究本文在大型语言模型记忆的研讨会上接受了（L2M2）2025。
大型语言模型（LLM）迅速成为各种任务的宝贵助手。但是，它们的有效性受到他们通过个性化对人类偏好和行为量身定制反应的能力的限制。 LLM个性化的先前工作主要集中在样式转移或对用户的小概况融合，因为知识注入仍然是一个开放的挑战。在本文中，我们探讨了将先前对话的知识注入LLMS，以使未来的工作较少，个性化的对话。我们确定了两个现实世界的约束：（1）对话是顺序的，必须在训练过程中对此进行处理，并且（2）每个用户个性化仅在参数有效的设置中可行。为此，我们提出了Plum，该管道是一条进行数据扩展的管道，以提高抽样对话作为问答对，然后将其用于验证具有加权交叉熵损失的低级别适应适配器。即使在对问题的第一次探索中，我们也与诸如抹布之类的基线竞争性能，在100次对话中获得了81.5％的准确性。
- *在Apple†剑桥大学