XiaoMi-AI文件搜索系统
World File Search System微调
关于微调的辩论：基本问题
对总私人支出的影响很小）。如果戈德利先生在这一点上是正确的，并且正式的预报员是错误的，那么政策错误将被犯错。但是，我们在这里关心对微调的一般影响，就论点而言，我们可以假设戈德利先生的总体关系是正确的，并且预测它比官方预报员使用的私人方法更好地预测了私人支出。关系的两个关键特性是，从私人可支配收入中花费的边际倾向接近
蛋白质稳定性通过微调蛋白质语言模型在大型数据集上进行微调
蛋白质稳定性在多种应用中起着至关重要的作用，例如食物加工，治疗剂和致病突变的鉴定。工程运动企业寻求提高蛋白质稳定性，并且对简化这些过程有浓厚的兴趣，以便能够快速优化高度稳定的蛋白质，并且迭代较少。在这项工作中，我们利用巨型尺度数据集探索了为稳定性预测优化的蛋白质语言模型。ESM Therm受过训练，该培训是根据461个蛋白质结构域衍生的528K天然和从头序列的折叠稳定性训练，可以容纳缺失，插入和多点突变。我们表明，蛋白质语言模型可以进行微调以预测折叠稳定性。ESM Therm在小蛋白质结构域上合理地执行，并将其推广到训练集远端的序列。最后，我们讨论了模型的局限性，与其他最先进的方法相比，将其推广到较大的蛋白脚手架。我们的结果强调了对各种数据集上进行大规模稳定性测量的需求，该数据集反映了自然界中通常观察到的序列长度的分布。
微调论点和人工智能的反对
我认为人工智能的出现给微调论证和一般的上帝设计论证带来了新的问题，因为一个基于人工智能的非个人至上设计师，是上帝作为宇宙设计师（或据称不可简化的复杂生物结构设计师等）的一个相关替代方案。当然，像人类这样的个人设计师和非个人设计师（如狭义人工智能系统）之间存在差异，但正如我所说，只有当人类有灵魂时，将上帝视为最高设计师而不是以没有灵魂的人工智能为模型的非个人设计师才更合理。换句话说，只有当实体二元论之类的东西被证明是真实的时候，上帝的微调论证才能成功。从辩证法上讲，这使得微调论证的效果大大降低。
微调与及时调节的监督陈述
为了破译人脑的语言表示基础的算法，先前的工作通过对NLU任务进行了微调的预先调整的预先训练的人工神经网络（ANN）模型对大脑对语言输入的反应。然而，完整的微调通常会更新整个参数空间并扭曲预训练的功能，从而与大脑的强大多任务学习无关。及时调整可以保护预训练的权重，并学习特定于任务的嵌入以适合任务。迅速调整是否会产生代表，可以更好地说明大脑语言表示的比较？如果是这样，什么样的NLU任务会导致预先训练的模型更好地解码人脑中所代表的信息？我们通过比较神经解码中的迅速调整和微调的表示来调查这些问题，这预测了刺激引起的大脑活动的语言刺激。我们发现，在10个NLU任务中，全面的微调都没有明显胜过神经解码的迅速调整，这意味着一种更一致的调谐方法会产生代表性的代表，可以更好地与大脑数据相关。更重要的是，我们确定处理精细概念的任务意味着比其他任务更好地解码大脑激活模式的屈服表示，尤其是句法构成任务。这表明我们的大脑编码代表语言时浅层句法信息更细粒度的概念信息。
有效地对扩散模型的私人微调
摘要分散模型（DMS）的最新发展使得能够产生惊人的高质量合成样品。最近的工作表明，差异模型产生的合成样本已在公共数据上进行了预培训，并在私人数据上完全构成了差异性隐私，可以培训下游的分类器，同时实现良好的隐私公用事业 - 公用事业贸易。然而，就记忆使用和计算而言，具有DP-SGD的如此大的分解模型完全需要资源。在这项工作中，我们使用具有不同隐私性的低维适应性（LODA）进行了划分模型的参数 - 有效的微调（PEFT）。我们使用MNIST和CIFAR-10数据集评估了所提出的方法，并证明这种有效的功能还可以为训练下游分类器培训有用的合成样品，并保证了隐私保护数据。我们的源代码将在GitHub上提供。
面对内幕威胁：基于LLM微调
基于异常的检测可有效防止不断发展的内幕威胁，但精度仍然低。当前的数据处理可能会导致信息丢失，并且模型通常会努力区分良性异常和实际威胁。这两个问题都阻碍了精确检测。为了解决这些问题，我们提出了基于大语言模型（LLM）微调的精确异常检测解决方案。通过代表自然语言的用户行为，我们减少了信息丢失。我们使用用户行为模式对比度对异常检测的任务进行微调，使用两阶段策略：首先学习一般行为模式，然后使用特定于用户的数据来改进，以改善良性异常和威胁之间的差异化。我们还实施了一个细粒度的威胁追踪机制，以提供行为级别的审计步道。据我们所知，我们的解决方案是第一个在内幕威胁检测中应用LLM微调的方法，在CERT V6.2数据集中达到了0.8941的F1分数，超过所有基线。
体外预训练和患者微调……
简单总结：癌细胞系彼此之间差异很大，因为每个细胞系都经历了随机突变的组合。因此，抗癌药物的有效性也因癌细胞系而异。为了了解哪些药物对哪些癌细胞有效，研究人员将培养的细胞系暴露于候选药物中。然而，这些结果并不完全现实，主要是因为培养的细胞生活在二维体外环境中，不会与其他类型的细胞相互作用。有更现实的方法来测试药物的有效性——例如，从肿瘤细胞 3D 打印的类器官——但由于这些过程更复杂，可用的数据要少得多。我们研究了一种方法，其中神经网络首先在大量可用的体外药物敏感性数据上进行训练，然后在较小但更现实的数据库上进行微调。我们发现这种训练过程提高了神经网络预测特定药物对给定肿瘤细胞系的有效性的能力。这样的神经网络可以作为一种工具，既可以用于个性化癌症治疗，也可以用于药物开发。
奖励流量和扩散模型的微调
主要参考：伴随匹配：具有无内存随机最佳控制的微调流量和扩散生成模型。C. Domingo-Enrich，M。Drozdzal，B。Karrer，R。T。Q. Chen，ICLR2025。https：//arxiv.org/abs/2409.08861
对文本的微调语言模型的影响 -
基于文本的强化学习涉及使用观察到的文本和自然语言的可接受动作来完成任务的代理人与虚构环境进行交互。以前的作品表明，即使在完全没有语义理解或其他语言能力的情况下，代理也可以在基于文本的交互式环境中成功。这些代理商在玩这样的游戏中的成功表明，语义理解可能并不重要。这提出了一个重要的问题，即LMS通过游戏指出代理商的好处。在这项工作中，我们证明了丰富的语义理解会导致对基于文本的RL代理的有效培训。此外，我们描述了基于文本的强化学习（TBRL）中语言模型的不适当微调的结果。具体来说，我们描述了LM中单词的出现表示的转变，以及它如何影响代理在与训练游戏的语义上相似的任务中的性能。这些结果可能有助于制定更好的策略，以在基于文本的RL方案中微调代理。