Trade-offs in Data Memorization via Strong Data Processing Inequalities
最近的研究表明，培训大语言模型涉及大量培训数据的记忆。在敏感用户数据上培训培训时，这种记忆可能会导致侵犯隐私，从而激发了对数据记忆在学习中的作用的研究。在这项工作中，我们开发了一种通用方法来证明过度数据记忆的下限，该方法依赖于强烈的数据处理不平等和数据记忆之间的新联系。然后，我们证明了几个简单而自然的二进制分类问题在…
Why Regularization Isn’t Enough: A Better Way to Train Neural Networks with Two Objectives
为什么要分解目标和模型可能是在深度学习中进行更好绩效和更清晰的权衡取舍的关键。为什么正规化不足：训练具有两个目标的神经网络的更好方法首先出现在数据科学方面。
蜘蛛毒液效力表现出系统发育猎物特异性，但在猎物捕获的捕turetractspiders中的体型或丝绸使用不折衷，采用了各种捕食者性状，包括有效的毒液，复杂的丝绸狩猎策略和机械强度，并与更大的身体尺寸相连，以捕获猎物。这种特征多样性以及毒液效力的可量化性质使蜘蛛成为研究进化权衡的出色群体。然而，使用非典型猎物模型来测量毒液效力，比较方法在历史上一直困惑。在这里，我们通过结合蜘蛛饮食与用于测量其毒液效力的物种之间的系统发育相似性来解释这种混杂问题。使用对75种蜘蛛种类的系统发育比较分析来测试饮食，丝绸在猎物捕获和体型中的使用如何驱动毒液产量和效力（LD50），我们表明蜘蛛毒液通常对与其自然猎物更紧
