When Unlearning Is Free: Leveraging Low Influence Points to Reduce Computational Costs
随着对机器学习中数据隐私的担忧不断增加，从训练模型中遗忘或删除特定数据点的能力变得越来越重要。尽管最先进的遗忘方法已经出现，但它们通常平等地对待遗忘集中的所有点。在这项工作中，我们通过询问来挑战这种方法：是否需要删除对模型学习影响可忽略不计的点？通过对语言和视觉任务的影响函数进行比较分析，我们确定了对模型输出影响可以忽略不计的训练数据子集……
Path-Constrained Mixture-of-Experts
稀疏专家混合 (MoE) 架构通过每层的专家子集独立路由每个令牌。我们建议通过专家路径的视角来看待 MoE 计算——令牌在所有层上进行的专家选择序列。这种观点表明，尽管 N 个专家跨 L 层有 N^L 条可能的路径，但实践中的标记会聚集成一小部分与语言功能一致的路径，但绝大多数路径仍未被探索，这代表了统计上的低效率。这激发了限制有效路径空间的架构……
