XiaoMi-AI文件搜索系统
World File Search Systemtransformers
与变压器的全球和本地功能通信进行3D人姿势估计
最近，时空变压器结构已被广泛应用于3D人类姿势估计的问题，从而实现了最新的性能。这些方法中的许多方法都将单个框架中的单个关节视为令牌，并且在同一框架或相同轨迹的令牌上施加注意力。尽管这种结构可有效地计算单个关节之间的相关性，但它过于限制，因为诸如帧或轨迹之类的全局特征无法很好地传达。在本文中，我们建议Galformer解决此问题。Galformer由局部和全局变压器块组成，前者基于关节令牌，如先前的方法一样，而后者，即全局混合变压器，将所有关节混合在特定框架范围内的所有关节，以实施特征交换的电感偏见。在提出的方法中交替重复这两个变压器块，以计算关节，形状和轨迹之间的相关性。实验表明，与人类36M，MPI-INF-3DHP和HUMANEVA数据集的现有方法相比，我们的方法具有优越或至少具有竞争性能。
输注的免疫疗法会影响头颈癌的存活：倾向评分与分析匹配
。cc-by-nc-nd 4.0国际许可证可永久提供。是作者/资助者，他已授予Medrxiv的许可证，以显示预印本（未经同行评审证明）的预印本版权持有人的此版本发布于2025年2月16日。 https://doi.org/10.1101/2024.06.07.24308553 doi：medrxiv preprint
带有解剖学先验的引导变压器
摘要。肌肉体积是运动中有用的定量生物标志物，也是对退行性肌肉疾病的随访。除了体积外，还可以通过从医学图像中分割感兴趣的肌肉来提取其他形状的生物标志物。手动细分仍然是当今此类测量的黄金标准，尽管非常耗时。我们提出了一种在3D磁共振图像上自动分割18个下肢肌肉的方法，以进行这种形态计量分析。从本质上讲，当MR图像中观察到不同肌肉的组织是无法区分的。因此，肌肉分割算法不能依靠外观，而只能依靠参观提示。然而，这种轮廓很难检测到，它们的厚度在受试者之间也有所不同。为了应对上述挑战，我们提出了一种基于混合体系结构的分割方法，结合了汇总和视觉变压器块。我们首次在肌肉分割的背景下首次研究这种混合体系结构的行为以进行形状分析。考虑到一致的解剖肌肉构型，我们依靠变压器块来捕获肌肉之间的长距离关系。为了进一步利用解剖学先验，这项工作的第二个贡献包括基于根据训练数据估算出的合理肌肉邻居的邻接矩阵增加了规则损失。我们对
使用 transformers 根据 DNA 序列和转录后信息预测基因表达水平
背景与目标：近年来，由于基因表达水平的潜在临床应用，预测基因表达水平至关重要。在此背景下，Xpresso 和其他基于卷积神经网络和 Transformer 的方法首次被提出用于此目的。然而，所有这些方法都使用标准的独热编码算法嵌入数据，从而产生非常稀疏的矩阵。此外，该模型没有考虑基因表达过程中最重要的转录后调控过程。方法：本文提出了 Transformer DeepLncLoc，一种通过处理基因启动子序列来预测 mRNA 丰度（即基因表达水平）的新方法，将该问题作为回归任务进行管理。该模型利用基于 Transformer 的架构，引入 DeepLncLoc 方法执行数据嵌入。由于 DeepLncloc 基于 word2vec 算法，因此它避免了稀疏矩阵问题。结果：该模型包含了与 mRNA 稳定性和转录因子相关的转录后信息，与最先进的方法相比，其性能显著提高。Transformer DeepLncLoc 的 R 2 评估指标达到 0.76，而 Xpresso 的 R 2 评估指标为 0.74。结论：Transformer 方法中的多头注意力机制适用于对 DNA 位置之间的相互作用进行建模，从而克服了循环模型。最后，在管道中整合转录因子数据可显著提高预测能力。
视觉变压器用于角膜共聚焦显微镜图像中糖尿病周围神经病的自动检测
糖尿病周围神经病（DPN）的早期检测和管理对于降低相关的发病率和死亡率至关重要。角膜共聚焦显微镜（CCM）促进了角膜神经的成像，以检测DPN的早期和进行性神经损伤。然而，它的更广泛的采用受到手动神经量化的主观性和时间密集型性质的限制。这项研究研究了CCM图像的二元分类，以区分健康对照和DPN个体的二元分类，研究了最先进的视觉变压器（VIT）模型的诊断实用性。还将VIT模型的性能与先前使用CCM图像用于DPN检测的卷积神经网络（CNN）进行了比较。使用大约700 ccm图像的数据集，VIT模型达到了0.99的AUC，灵敏度为98％，特定的92％，而F1得分为95％，超过了先前报道的方法。这些发现突出了VIT模型作为基于CCM的DPN诊断的可靠工具的潜力，从而消除了对耗时的手动图像分割的需求。此外，结果增强了CCM作为检测神经损伤的非侵入性和精确成像方式的价值，尤其是在神经病相关的疾病（例如DPN）中。
使用视觉变压器检测植物疾病
植物性疾病对全球粮食安全和农业的可持续性构成了重大风险，从而导致经济损失和阻碍农村生计。传统的疾病检测方法，包括视觉检查和基于实验室的技术，其可扩展性，效率和准确性受到限制。本文解决了使用高级机器学习技术（特别是视觉变压器（VIT））准确检测和诊断植物疾病的关键问题，以克服这些限制。VITS利用自我发明的机制来捕获植物图像中的复杂模式，从而实现准确有效的疾病分类。本文回顾了有关农业深度学习技术的文献，强调了对植物疾病检测的VIT的日益兴趣。此外，它为培训和评估植物疾病分类任务的VIT模型提供了全面的方法。实验结果证明了VIT在准确识别55种平衡类别数据集中的各种植物疾病方面的有效性，强调了它们的潜力彻底改变了精密农业并促进可持续的农业实践。
变压器真的是机器人技术的基础吗？
重复使用 本文根据 Creative Commons 署名 (CC BY) 许可条款发布。此许可允许您发布、重新混合、调整和基于作品创作，甚至用于商业用途，只要您注明原创作者即可。更多信息和许可条款的完整内容请见：https://creativecommons.org/licenses/
CNN与视觉变压器的集合学习MRI图像上的脑病变分类
抽象的深度学习模型，例如卷积神经网络（CNN）和视觉变压器（VIT），在MRI图像上脑损伤的分类中已经实现了最先进的性能。但是，这种类型的图像的复杂性要求CNN使用具有更多参数的更深层体系结构，以有效地捕获其高维特征和微妙的变化。一方面，VIT提供了一种应对这一挑战的不同方法，但是它们需要更大的数据集和更多的计算成本。在另一侧，整体深度学习技术（例如装袋，堆叠和增强）可以通过组合多个CNN模型来帮助减轻这些限制。这项研究探讨了这些方法，并使用三种方法进行比较，以评估其准确性和效率：基于CNN的转移学习，基于VIT的转移学习和集成深度学习技术，例如基于XGBOOST，ADABOOST方法，袋装，堆叠和提高。在四个具有不同级别的复杂性和脑部病变类型水平的MRI图像数据集上进行的实验表明，与已经存在的方法相比，CNN与集合技术的组合为单个CNN和VITs提供了非常有竞争力的性能，并具有有趣的改进。
机器学习预测酶最佳pH
全基因组关联研究已将数百万个遗传变异与生物医学表型联系起来，但是由于缺乏机械理解和广泛的上毒相互作用，它们的效用受到了限制。最近，变压器模型已成为机器学习中强大的通用体系结构，具有解决这些挑战和其他挑战的潜力。因此，在这里，我们介绍了基因型到表型变压器（G2PT），这是一个建模变体，基因，多基因功能和表型之间层次信息流的框架。作为概念证明，我们使用G2PT对TG/HDL（甘油三酸酯至高密度脂蛋白胆固醇）的遗传学进行建模，这是代谢健康的指标。g2pt学会通过高度关注24个功能的遗传变异来预测这种特征，包括免疫反应和胆固醇转运，准确性超过了最先进。它暗示了意外的上皮相互作用，包括APOC1和CETP之间的相互作用。这项工作将分层变压器定位为一种在功能上解释多基因风险的一般方法。源代码可在https://github.com/idekerlab/g2pt上找到。
