XiaoMi-AI文件搜索系统
World File Search System微调
数据匿名用于隐私性的大语言模型在呼叫成绩单上微调
大型语言模型（LLMS）功能的最新进展（Devlin等人，2019年；布朗等人。，2020年； Zhao等。，2023年），导致了他们广泛的收养，作为工业和学术NLP各种任务的基础（Bom- Masani等人。，2021）。在数十亿和数十亿的参数计数中，这些模型需要大量的数据才能进行训练和微调（Hoffmann等人。，2022）。同时，这种过度分析能够记忆和潜在的LLMS训练数据的泄漏或提取（Biderman等人，2023; Carlini等。，2023; Hartmann等。，2023）。综上所述，LLMS所需的培训数据和记忆能力提出了实质性问题（Li等人，2023）。这种风险更加复杂，因为LLM与所有监督学习者一样，在具有与培训数据相似的分布的测试集上表现最好。因此，寻求部署实际上有效的LLM的组织必须使用反映其部署分布的数据，并使用特定的，敏感的数据（例如医疗记录或通话记录），导致绩效提高，但相应地
及时工程或微调？大语言模型的网络钓鱼检测案例研究
摘要：大语言模型（LLM）正在重塑机器学习（ML）应用程序开发的景观。能够执行各种任务的多功能LLM的出现降低了人类参与培训和维护ML模型的必要性。尽管有这些进步，但出现了一个关键的问题：这些广义模型是否可以否定对特定于任务模型的需求？本研究通过比较LLM在检测网络钓鱼URL中的有效性与迅速工程技术相对于微调时的有效性来解决这个问题。值得注意的是，我们探讨了用于网络钓鱼URL检测的多种及时工程策略，并将它们应用于两个聊天模型，即GPT-3.5-Turbo和Claude 2。在这种情况下，通过使用1000个样本的测试集，获得的最大结果是92.74％的F1评分。之后，我们对包括GPT-2，BLOOM，BABY LLAMA和DISTILGPT-2在内的一系列基本LLM进行了微调（主要是用于文本生成）的，用于网络钓鱼URL检测。微调方法最终达到了峰值性能，在同一测试集上达到了97.29％的F1分数和99.56％的AUC，从而优于现有的现有先进方法。这些结果表明，尽管LLM通过及时的工程来实现，但可以加快应用程序开发过程，实现不错的表现，但它们不如专用的，特定于任务的LLM。
一种微调模型诱导稳定固定点的方法
理想化的化学植物的第一原理模型可能不准确。一个替代的天然是将机器学习（ML）模型直接适合工厂传感器数据。我们使用一种结构化方法：工厂内的每个单元都由一个ML模型表示。将模型拟合到数据后，将模型连接到类似流面的有向图中。我们发现，对于较小的植物，这种方法效果很好，但是对于较大的植物，流程表中大型和嵌套的循环产生的复杂动力学导致模型初始化期间求解器的不稳定性。我们表明，单单元模型的高精度还不够：梯度可以指向意外的方向，从而防止求解器收敛到正确的固定状态。为了解决这个问题，我们提出了一种微调ML模型的方法，即即使使用非常简单的求解器也变得强大。
微调汽车T细胞的抗原敏感性
嵌合抗原受体（CAR）T细胞是“活药物”，通过抗体衍生的结合结构域特异性地识别其靶抗原，从而导致T细胞激活，扩展和销毁同源靶细胞。FDA/EMA CAR T细胞用于治疗B细胞恶性肿瘤的批准将CAR T细胞疗法确立为现代免疫疗法的新兴支柱。然而，几乎每名接受CAR T细胞疗法的患者在第一年内都患有疾病复发，这被认为是由于癌细胞上的CAR靶抗原的下调或丢失，以及功能能力降低，称为T细胞耗尽。在汽车激活阈值下方的抗原下调使T细胞保持沉默，使CAR T细胞疗法无效。使用CAR T细胞用于治疗越来越多的恶性疾病，尤其是实体瘤的疾病，需要增强汽车敏感性以在癌细胞上低密度的靶向抗原。在这里，我们讨论了即将到来的策略和当前设计汽车以识别抗原低癌细胞的挑战，旨在提高敏感性和最佳治疗性效率，同时降低肿瘤复发的风险。
60个神经类固醇 - 大脑功能的微调
在母亲中，分娩后的Allopregnanolone迅速下降会导致GABA信号失衡。最多五分之一的女性可能会导致产后抑郁症，这是产后第一年的一种严重抑郁症。经过数十年的神经类固醇替代疗法的研究后，Allopregnanolone，Brexanalone的表述在2019年被美国食品药品监督管理局批准，是通过静脉输注的第一家可用于治疗产后抑郁症的药物。该药物设计的进一步改善导致Zuranolone在2023年获得批准，这是一种口服配方，比Brexanalone更容易施用。
论预训练数据多样性与微调鲁棒性之间的联系
预训练已在深度学习中被广泛采用，以提高模型性能，特别是当目标任务的训练数据有限时。在我们的工作中，我们试图了解这种训练策略对下游模型泛化特性的影响。更具体地说，我们提出以下问题：预训练分布的属性如何影响微调模型的鲁棒性？我们探索的属性包括预训练分布的标签空间、标签语义、图像多样性、数据域和数据量。我们发现影响下游有效鲁棒性的主要因素 [44] 是数据量，而其他因素的重要性有限。例如，将 ImageNet 预训练类别的数量减少 4 倍，同时将每个类别的图像数量增加 4 倍（即保持总数据量固定）不会影响微调模型的鲁棒性。我们展示了从各种自然和合成数据源中提取的预训练分布的发现，主要使用 iWildCam-WILDS 分布转变作为稳健性测试。
微调芯片引导的脂质纳米颗粒的肿瘤内给药，用于靶向抗癌治疗
©作者2023。Open Access本文是根据Creative Commons Attribution 4.0 International许可获得许可的，该许可允许以任何媒介或格式使用，共享，适应，分发和复制，只要您对原始作者和来源提供适当的信誉，请提供与创意共享许可证的链接，并指出是否进行了更改。本文中的图像或其他第三方材料包含在文章的创意共享许可中，除非在信用额度中另有说明。如果本文的创意共享许可中未包含材料，并且您的预期用途不受法定法规的允许或超过允许的用途，则您需要直接从版权所有者那里获得许可。要查看此许可证的副本，请访问http://creativecommons.org/licenses/4.0/。Creative Commons公共领域奉献豁免（http：//creativecom- mons.org/publicdomain/zero/zero/1.0/）适用于本文中提供的数据，除非在数据信用额度中另有说明。
微调与及时调节的监督陈述
为了破译人脑的语言表示基础的算法，先前的工作通过对NLU任务进行了微调的预先调整的预先训练的人工神经网络（ANN）模型对大脑对语言输入的反应。然而，完整的微调通常会更新整个参数空间并扭曲预训练的功能，从而与大脑的强大多任务学习无关。及时调整可以保护预训练的权重，并学习特定于任务的嵌入以适合任务。迅速调整是否会产生代表，可以更好地说明大脑语言表示的比较？如果是这样，什么样的NLU任务会导致预先训练的模型更好地解码人脑中所代表的信息？我们通过比较神经解码中的迅速调整和微调的表示来调查这些问题，这预测了刺激引起的大脑活动的语言刺激。我们发现，在10个NLU任务中，全面的微调都没有明显胜过神经解码的迅速调整，这意味着一种更一致的调谐方法会产生代表性的代表，可以更好地与大脑数据相关。更重要的是，我们确定处理精细概念的任务意味着比其他任务更好地解码大脑激活模式的屈服表示，尤其是句法构成任务。这表明我们的大脑编码代表语言时浅层句法信息更细粒度的概念信息。
同意使用微调的阴道孕酮治疗早期出血和先前流产1/3
⃝我知道NHS英格兰最近制定的NICE指南[NICE]建议阴道孕激素子宫治疗，以减少怀孕早期出血的妇女进一步流产的风险和一次或多个先前的流产。⃝我知道这一建议是基于一项名为Prism试验[Prism]的大型英国医学研究试验。⃝我知道在怀孕初期出血的妇女中显示的试验显示，孕激素治疗没有任何益处。先前流产后增加了2％；两次流产后6.6％；并在三个或以上的流产后多达14％。⃝我知道，总体而言，研究表明，不使用孕酮的成功怀孕的机会为72％，孕酮治疗的机会为75％。⃝我知道，苏格兰政府就孕酮的使用。⃝我知道NICE推荐并在Prism试验中使用的孕酮是一种称为Utrogestan®的微粉（天然）孕酮。目前尚未获得用于怀孕的许可。⃝我知道，NICE推荐的剂量每天两次，因为阴道the，从宫内妊娠通过超声扫描确认到16周的妊娠期。制造商建议的Utrogestan®剂量为200mg三次。⃝我知道该单元可以使用其他微管的阴道孕酮制剂，例如每天两次循环400毫克。制造商建议的剂量为每天两次200mg。
一种结合 SqueezeNet 模型与 SVM 和微调的脑肿瘤分类新方法
摘要：脑癌在老年人和年轻人中最为常见，并且对老年人和年轻人都可能是致命的。如果能迅速诊断和治疗，脑肿瘤可以更好地治愈。在处理医学图像时，深度学习方法对于帮助人类诊断各种疾病至关重要。对脑肿瘤进行分类是一个必不可少的步骤，它在很大程度上依赖于医生的经验和培训。一个用于检测和分类这些肿瘤的智能系统对于使用 MRI（磁共振成像）图像进行脑肿瘤的非侵入性诊断至关重要。这项工作提出了一种基于 CNN 的新型混合深度学习结构，通过 MRI 扫描区分三种不同类型的人脑肿瘤。本文提出了一种使用深度学习和 CNN 进行分类的双重方法。第一种方法将用于模式分类的 SVM 无监督分类与用于特征提取的预训练 CNN（即 SqueezeNet）相结合。第二种方法将监督式软最大分类器与精细调整的 SqueezeNet 相结合。为了评估所提方法的有效性，使用脑部 MRI 扫描分析了总共 1937 张胶质瘤肿瘤图像、926 张脑膜瘤肿瘤图像、926 张垂体肿瘤图像和 396 张正常脑部图像。根据实验结果，精细调整的 SqueezeNet 模型的准确率为 96.5%。然而，当使用 SqueezeNet 作为特征提取器并应用 SVM 分类器时，识别准确率提高到 98.7%。