详细内容或原文请订阅后点击阅览
重新思考 LLM 记忆
简介 在讨论大型语言模型 (LLM) 时，一个核心问题是它们记忆训练数据的程度与它们如何推广到新任务和设置。大多数从业者似乎（至少非正式地）认为 LLM 在某种程度上两者都做到了：它们清楚地记住了部分训练数据——例如，它们通常能够逐字重现大量训练数据 [Carlini 等人，2023]——但它们似乎也从这些数据中学习，从而使它们能够推广到新设置。它们做这一件事或另一件事的确切程度对此类模型的实践和法律方面具有重大影响 [Cooper 等人，2023]。LLM 真的会产生新内容吗，还是只是重新混合了训练数据？对受版权保护的数据进行训练的行为应该被视为对数据的不公平使用，还是应该根据模型记忆的某种概念来判断合理使用？在与人类打交道时，我们会区分剽窃内容和从中学习，但这应该如何扩展到 LLM？答案本质上与 LLM 记忆的定义以及他们记忆训练数据的程度有关。然而，即使定义 LLM 记忆 […]
来源:ΑΙhubAvi Schwarzschild
Avi Schwarzschild简介
在讨论大语模型（LLM）的讨论中，一个核心问题涉及他们记住培训数据的程度，而不是他们如何推广到新任务和设置。大多数从业者似乎（至少在非正式地）相信LLM会兼具一定程度的两者：他们清楚地记住了培训数据的一部分 - 例如，他们通常能够复制大部分培训数据，但逐字化[Carlini等，2023] - 但他们似乎也从这些数据中学习，从而使他们能够概括到新的环境中。他们做一个或另一个的确切程度对此类模型的实际和法律方面具有巨大的影响[Cooper等，2023]。 LLM是否会真正产生新的内容，还是仅重新混合培训数据？应该认为对受版权数据的数据的培训的行为是否不公平，还是应该通过模型记忆的某些概念来判断使用公平使用？在与人类打交道时，我们将pla窃的内容与从中学习的学习区分开来，但是这应该如何扩展到LLMS呢？答案固有地与LLM的记忆的定义以及他们记住训练数据的程度有关。
记忆 概括 明确 Carlini等，2023 Cooper等，2023但是，即使定义LLM的记忆也很具有挑战性，许多现有的定义还有很多不足之处。在我们最近的论文（项目页面）中，我们根据压缩参数提出了对记忆的新定义。我们的定义认为
项目页面如果我们可以使用比短语本身短的提示（大多）使该短语重现该短语，则对训练数据中存在的短语进行记忆。如果我们可以使用提示（大多数）比短语本身 和
为什么我们需要一个新的定义
Carlini等，2019 2023; Nasr等，2023; Zhang等，2023 允许 易于逃避 需要验证数据 Nasr等，2023argmax
to