XiaoMi-AI文件搜索系统
World File Search System微调
微调汽车T细胞的抗原敏感性
嵌合抗原受体（CAR）T细胞是“活药物”，通过抗体衍生的结合结构域特异性地识别其靶抗原，从而导致T细胞激活，扩展和销毁同源靶细胞。FDA/EMA CAR T细胞用于治疗B细胞恶性肿瘤的批准将CAR T细胞疗法确立为现代免疫疗法的新兴支柱。然而，几乎每名接受CAR T细胞疗法的患者在第一年内都患有疾病复发，这被认为是由于癌细胞上的CAR靶抗原的下调或丢失，以及功能能力降低，称为T细胞耗尽。在汽车激活阈值下方的抗原下调使T细胞保持沉默，使CAR T细胞疗法无效。使用CAR T细胞用于治疗越来越多的恶性疾病，尤其是实体瘤的疾病，需要增强汽车敏感性以在癌细胞上低密度的靶向抗原。在这里，我们讨论了即将到来的策略和当前设计汽车以识别抗原低癌细胞的挑战，旨在提高敏感性和最佳治疗性效率，同时降低肿瘤复发的风险。
基于 CatBoost 的微调言语障碍检测模型
言语障碍 (SD) 的分类对于治疗患有言语障碍 (SI) 的儿童至关重要。自动 SD 分类可以帮助言语治疗师为农村地区的 SI 儿童提供服务。检测 SD 的自动化技术可以客观评估语音属性，包括发音、流利度和韵律。临床检查和定量评估可以深入了解患者的说话能力和局限性。现有的用于 SD 检测的深度学习 (DL) 模型通常缺乏对不同人群和语音变化的泛化，导致在应用于具有不同语言背景或方言的个体时性能不佳。本研究介绍了一种基于 DL 的模型，用于使用语音样本对正常和异常语音进行分类。为了克服过度拟合和偏差，作者构建了具有 MobileNet V3 和 EfficientNet B7 模型权重的卷积神经网络模型，用于特征提取 (FE)。为了提高性能，他们将挤压和激励块与基于 MobileNet V3 的 FE 模型集成在一起。同样，使用结构修剪技术改进了基于 EfficientNet B7-mod el 的 FE。增强型 CatBoost 模型使用提取的特征区分正常和异常语音。实验分析使用包含 4620 个健康儿童话语和 2178 个 SI 儿童话语的公共数据集进行。比较研究揭示了所提出的 SD 分类模型的卓越性能。该模型的表现优于当前的 SD 分类模型。它可以用于临床环境以支持语言治疗师。使用多样化语音样本进行大量训练可以提高所提模型的通用性。
量子PEFT：超参数高效微调
摘要 本文介绍了利用量子计算进行参数高效微调 (PEFT) 的 Quantum-PEFT。与其他加性 PEFT 方法（例如低秩自适应 (LoRA)）不同，Quantum-PEFT 利用底层的全秩但令人惊讶的参数高效的量子幺正参数化和交替纠缠。使用 Pauli 参数化时，可训练参数的数量仅随环境维度呈对数增长，而不是像基于 LoRA 的 PEFT 方法那样呈线性增长。因此，随着维度的增长，Quantum-PEFT 实现的可训练参数数量比最低秩的 LoRA 少得多，从而提高了参数效率，同时保持了有竞争力的性能。我们将 Quantum-PEFT 应用于语言和视觉中的几个迁移学习基准，显示出参数效率的显著优势。
SAM-PARSER：通过参数空间重构高效微调 SAM
任意分割模型 (SAM) 因提供强大且通用的图像对象分割解决方案而备受关注。然而，在不同场景下对 SAM 进行微调以用于下游分割任务仍然是一个挑战，因为不同场景的不同特征自然需要不同的模型参数空间。大多数现有的微调方法试图通过引入一组新参数来修改 SAM 的原始参数空间，以弥合不同场景之间的差距。与这些工作不同，在本文中，我们提出通过参数空间重构（SAM-PARSER）来有效地对 SAM 进行微调，其在微调过程中引入几乎为零的可训练参数。在 SAM-PARSER 中，我们假设 SAM 的原始参数空间相对完整，因此它的基能够重建新场景的参数空间。我们通过矩阵分解获得基，并通过基的最佳线性组合对系数进行微调以重建适合新场景的参数空间。实验结果表明，SAM-PARSER 在各种场景中表现出卓越的分割性能，同时与当前参数高效的微调方法相比，可训练参数的数量减少了约 290 倍。
gen-drive：通过奖励建模和强化学习微调
摘要 - 自主驾驶需要能够推理交通代理之间未来互动的能力，并对计划进行明智的评估。本文介绍了Gen-Drive框架，该框架从传统预测和确定性计划框架转变为一代人，然后评估计划范式。该框架采用行为扩散模型作为场景生成器来产生各种可能的未来情况，从而增强了联合交互推理的能力。为了促进决策，我们提出了一个场景评估者（奖励）模型，该模型通过通过VLM援助收集的成对偏好数据训练，从而降低了人类的工作量和增强可扩展性。此外，我们还利用RL微调框架来提高扩散模型的发电质量，从而使其更有效地计划任务。我们对NUPLAN数据集进行了培训和闭环计划测试，结果表明，采用这种生成时代评估策略的表现优于其他基于学习的APCARCHES。此外，微调的生成驾驶政策显示出计划绩效的显着增强。我们进一步证明，与依靠人类设计的奖励相比，利用我们学习的奖励模型进行评估或RL微调导致了更好的计划绩效。项目网站：https：//mczhi.github.io/gendrive。
遗传算法对 Transformer 编码器的微调效果如何？第一种方法
遗传算法 (GA) 已在工程或医学等不同领域得到研究，以优化网络路由或医学图像分割等各种问题。此外，它们还被用于自动寻找深度神经网络的最佳架构。但是，据我们所知，它们尚未被用作 Transformer 模型的权重优化器。虽然梯度下降一直是这项任务的主要范例，但我们相信 GA 有其优势。在本文中，我们将证明尽管 GA 能够微调 Transformer 编码器，但它们的泛化能力比 Adam 差得多；然而，仔细观察，GA 从两个不同的预训练数据集中利用知识的能力超过了 Adam。
MRI图像的微调深度学习模型的比较研究
摘要。脑肿瘤是细胞的异常发育，无法控制地繁殖并且没有任何外部刺激。如果未发现肿瘤，脑肿瘤可能对人的健康致命。专家和神经外科医生采用磁共振成像（MRI）扫描来诊断脑肿瘤。已经开发了几种用于检测脑肿瘤存在的深度学习方法，以克服这些约束。准确检测脑肿瘤的大小和位置对于诊断肿瘤至关重要。医学图像处理是一种高度复杂而艰难的学科，其中图像处理及其方法是一个主动的研究主题。有各种技术深度学习和机器学习算法用于检测脑肿瘤。我们在本文中使用了CNN结构，Resnet，VGG16和Inception网络，并进行了比较研究以发现检测脑肿瘤的最大准确性。当将这些算法施加在MRI图像上时，脑肿瘤的预测很快就会进行，并且较高的精度有助于患者的治疗。在本文中，经过四种Di -Erent算法的完整过程和分析后，我们发现CNN体系结构是最适合最高准确性的。
具有高带宽内存的微调LLM的效果
近年来，NLP模型的快速发展主要是通过Google和多伦多大学研究人员开发的变压器体系结构[2] B。变压器体系结构最初用于翻译语言，但是由于其出色的计算性能（通过并行处理所有输入），而不是先前使用的体系结构，因此在几种情况下已经探索了它。此外，由于它在独特的下游应用程序中取得了成功（文本摘要，自动完成，聊天对话生成等。），多年来NLP模型中的参数数量迅速增加，如图1所示。该图显示了自2017年以来模型大小的演变，从变压器模型开始于2017年6月Google宣布的6500万参数。使用虚线描绘了大于1万亿的型号。我们包含的最大模型可以实现以上的参数大小，因为它们使用稀疏激活的结构，在推断期间，只有LLM的一部分神经元的一部分被激活，而不是全部。但是，它们的广泛采用受到复杂性，沟通成本和培训不稳定性等因素的阻碍[15]。尽管存在这些障碍，但它们的建筑设计应被视为未来模型缩放的有力候选人。此外，诸如GPT-4和Gemini之类的模型以其多模式功能而闻名，这不仅可以处理文本，还可以处理诸如Image，Video和Audio之类的视觉和听觉输入。图1基于参考文献[1]中的信息。
基于量子退火的 Transformer 微调实例选择方法
摘要 目前，深度学习（DL）被广泛用于解决非常复杂的任务。然而，DL模型的训练需要庞大的数据集和漫长的训练时间。我们引入了一种新颖的量子实例选择（IS）方法，该方法将训练数据集的大小减少了多达 28%，同时保持了有效性，提高了训练效率和可扩展性。我们的方法利用量子退火（QA），一种特定的量子计算范式，可以解决优化问题。这是首次尝试使用 QA 解决 IS 问题，我们为其提出了一种新的二次无约束二元优化（QUBO）公式。对多个自动文本分类（ATC）数据集进行的大量实验表明，我们的解决方案是可行的，并且与当前最先进的 IS 解决方案具有竞争力。
一种微调模型诱导稳定固定点的方法
理想化的化学植物的第一原理模型可能不准确。一个替代的天然是将机器学习（ML）模型直接适合工厂传感器数据。我们使用一种结构化方法：工厂内的每个单元都由一个ML模型表示。将模型拟合到数据后，将模型连接到类似流面的有向图中。我们发现，对于较小的植物，这种方法效果很好，但是对于较大的植物，流程表中大型和嵌套的循环产生的复杂动力学导致模型初始化期间求解器的不稳定性。我们表明，单单元模型的高精度还不够：梯度可以指向意外的方向，从而防止求解器收敛到正确的固定状态。为了解决这个问题，我们提出了一种微调ML模型的方法，即即使使用非常简单的求解器也变得强大。