Evaluating Sample Utility for Data Selection by Mimicking Model Weights
基础模型经过大规模网络爬行数据集的培训，这些数据集通常包含噪声，偏见和无关的信息。这激发了数据选择技术的使用，这些技术可以分为无模型的变体 - 依靠启发式规则和下游数据集 - 以及基于模型的模型，例如使用影响功能。前者设计和冒险引入不必要的依赖性可能是昂贵的，而后者通常在计算上是过于刺激的。相反，我们建议使用MIMIC分数（一种利用…
在人工智能快速发展及其对国家安全的潜在风险的背景下，兰德公司的一项新研究探讨了如何最好地保护前沿人工智能模型免受恶意行为者的攻击。
SeedLM: Compressing LLM Weights into Seeds of Pseudo-Random Generators
大型语言模型（LLM）已改变了自然语言处理，但是由于其运行时的成本很高，因此在广泛部署方面面临着巨大的挑战。在本文中，我们介绍了一种新型的培训后压缩方法，该方法使用伪随机生成器的种子来编码和压缩模型权重。具体而言，对于每个权重，请在推断过程中为被馈入线性反馈移位寄存器（LFSR）的种子，以有效地生成随机矩阵。然后将该矩阵与压缩系数线性结合，以重建重量块……
从头开始实现语言模型可以说是准确了解其引擎工作原理的最佳方式。在这里，我们使用 torch 来编码 GPT-2，这是原始 GPT 的直接后继者。最后，您将处理一个 R 原生模型，该模型可以直接使用 Hugging Face 的预训练 GPT-2 模型权重。
Adding uncertainty estimates to Keras models with tfprobability
截至目前，还没有主流方法可以从神经网络中获取不确定性估计。只能说，通常情况下，方法往往是贝叶斯主义的，涉及某种方式将先验置于模型权重之上。这也适用于本文中介绍的方法：我们展示了如何使用 tfprobability（TensorFlow Probability 的 R 接口）以优雅且概念上合理的方式将不确定性估计添加到 Keras 模型中。
