简介 在讨论大型语言模型 (LLM) 时，一个核心问题是它们记忆训练数据的程度与它们如何推广到新任务和设置。大多数从业者似乎（至少非正式地）认为 LLM 在某种程度上两者都做到了：它们清楚地记住了部分训练数据——例如，它们通常能够逐字重现大量训练数据 [Carlini 等人，2023]——但它们似乎也从这些数据中学习，从而使它们能够推广到新设置。它们做这一件事或另一件事的确切程度对此类模型的实践和法律方面具有重大影响 [Cooper 等人，2023]。LLM 真的会产生新内容吗，还是只是重新混合了训练数据？对受版权保护的数据进行训练的行为应该被视为对数据的不公平使用，还是应该根据模型记忆的某种
Florian Tramer、Gautam Kamath 和 Nicholas Carlini 凭借其作品《立场：具有大规模公共预训练的差异化隐私学习考量》获得了国际机器学习会议 (ICML2024) 最佳论文奖。在这次采访中，Gautam 总结了这篇论文的一些主要成就。首先，什么是差异隐私，研究人员如何以及为什么 […]
