雑音のある通信－通信に雑音がある場合、通信容量はどのくらい減少するか
■概要 上次我们讨论了“无噪音通信”。我们已经看到，即使没有噪声，如果通信路径受到限制，通信容量也会下降，并且当高速条件受到限制时，这种影响尤其大。然而，在实际通信中，几乎不存在完全无噪声的环境。即使在日常与智能手机和电脑通信时，不必要的电磁波也可能混入信息信号中，从而降低通信质量。这种效应通常称为噪声。一般来说，考虑噪声来评估通信容量是很复杂的。在本文中，我们考虑假设有噪声通信的通信容量。 ■目录介绍 ○ 信息量和熵 ○ 什么是互信息？ ○ 有噪声的双向通信信道 ○ 输出概率 ○ 互信息 ○ 通信容量（有时间限制） ○ 结果 ○ 参考文献 上次我们讨论了“无噪声通信”。我们已经看到，即使没有
Cram Less to Fit More: Training Data Pruning Improves Memorization of Facts
本文在 ICLR 2026 基础模型导航和解决数据问题研讨会上被接受。大型语言模型 (LLM) 可能很难记住其参数中的事实知识，通常会导致幻觉和在知识密集型任务中表现不佳。在本文中，我们从信息论的角度将事实记忆形式化，并研究训练数据分布如何影响事实准确性。我们表明，每当训练数据事实中包含的信息量超过模型时，事实准确性就不是最佳的（低于容量限制）......
雑音のない通信－通信に制約がある場合、通信容量はどのくらい減少するか
■摘要 在通信中，由于发送/接收设备（智能手机、移动电话等）和传输路径（LAN电缆、光纤等）的各种因素，不必要的电磁波可能会混入信息信号中，从而降低通信质量。这种效应通常称为噪声。考虑噪声的通信容量评估很复杂。因此，在本文中，我们关注不考虑噪声影响的理想通信信道，然后定量考察通信信道有约束和无约束时通信容量的差异。 ■目录介绍 ○ 平均信息量以产生“熵” ○ 无约束时 [无记忆信息源] ○ A 有约束时（A → A 不允许） [马尔可夫信息源] ○ B 有约束时（B → B 不可能） [马尔可夫信息源] ○ 结果的比较和讨论 ○ 参考文献 在通信中，由于发送/接收过程中的各种因素，不必要的电磁
