XiaoMi-AI文件搜索系统
World File Search Systemformer
受大脑启发的稀疏训练使 Transformers 和 LLM 能够像全连接模型一样运行
本研究旨在扩大我们目前对脑启发网络科学原理在训练具有稀疏连接的人工神经网络（ANN）中的应用的认识。动态稀疏训练（DST）可以减少ANN训练和推理的计算需求，但现有方法在高连接稀疏度水平下难以保持最佳性能。Cannistraci-Hebb训练（CHT）是一种受大脑启发的增加DST连接的方法。CHT利用无梯度、拓扑驱动的链接再生机制，与完全连接的网络相比，该机制已被证明可以在各种任务中实现超稀疏（1％连接或更低）的优势。然而，CHT有两个主要缺点：（i）它的时间复杂度为O（N·d3） - N节点网络大小，d节点度 - 因此它只能有效地应用于超稀疏网络。 (ii) 它严格选择最高的链接预测分数，这不适合早期的训练阶段，因为此时网络拓扑结构中存在许多不可靠的连接。在这里，我们提出了一个矩阵乘法 GPU 友好的 CH 链接预测器近似值，它将计算复杂度降低到 O(N3)，从而能够在大型模型中快速实现 CHT。此外，我们引入了 Cannistraci-Hebb 训练软规则 (CHTs)，它采用灵活的策略在链接移除和重新生长中采样连接，平衡网络拓扑的探索和利用。为了进一步提高性能，我们将 CHT 与 S 型逐渐密度衰减策略相结合，称为 CHTss。经验
研究论文信息从具有生成预训练的变压器模型的临床文本中提取
目的：由于其非结构化的性质，处理和分析临床文本具有挑战性。本研究比较了GPT（生成预训练的变压器）-3.5和GPT-4的性能，用于从临床文本中提取信息。材料和方法：将三种类型的临床文本包含患者特征，病史和临床测试结果从开放式期刊中的病例报告中提取的临床测试结果被用作输入。随后，使用贪婪方法作为解码策略将包含信息提取查询的简单提示应用于两个模型。当GPT模型在某些任务中的表现不佳时，我们将使用特定于任务定义的替代解码策略或合并提示。将GPT模型产生的输出评估为真或错误，以确定信息提取的准确性。结果：从60个病例报告中提取了包含患者特征（60个文本），病史（50个文本）和临床测试结果（25个文本）的临床文本。GPT模型可以通过简单提示准确提取信息，以从临床文本中提取直接信息。与GPT-4相比，GPT-4的准确率明显更高（95％），而GPT-3.5（70％）。GPT-3.5（78％）在提取体重指数（BMI）中的表现优于GPT-4（57％）。利用性行为和BMI的替代解码策略并不能实际改善这两种模型的性能。在GPT-4中，修订的提示（包括每个性别类别的定义）或BMI公式的定义，纠正了所有关于在主要工作流程中产生的性别和BMI的不正确响应。结论：GPT模型可以通过简单提取直接信息的简单提示来充分发挥作用。对于复杂的任务，将特定于任务的定义纳入提示是一种合适的策略，而不是仅依靠简单的提示。因此，研究人员和临床医生应使用其专业知识来创建有效的提示，并在从临床文本中提取复杂信息时监控LLM结果。
视觉变压器用于角膜共聚焦显微镜图像中糖尿病周围神经病的自动检测
糖尿病周围神经病（DPN）的早期检测和管理对于降低相关的发病率和死亡率至关重要。角膜共聚焦显微镜（CCM）促进了角膜神经的成像，以检测DPN的早期和进行性神经损伤。然而，它的更广泛的采用受到手动神经量化的主观性和时间密集型性质的限制。这项研究研究了CCM图像的二元分类，以区分健康对照和DPN个体的二元分类，研究了最先进的视觉变压器（VIT）模型的诊断实用性。还将VIT模型的性能与先前使用CCM图像用于DPN检测的卷积神经网络（CNN）进行了比较。使用大约700 ccm图像的数据集，VIT模型达到了0.99的AUC，灵敏度为98％，特定的92％，而F1得分为95％，超过了先前报道的方法。这些发现突出了VIT模型作为基于CCM的DPN诊断的可靠工具的潜力，从而消除了对耗时的手动图像分割的需求。此外，结果增强了CCM作为检测神经损伤的非侵入性和精确成像方式的价值，尤其是在神经病相关的疾病（例如DPN）中。
使用多模态信号通过预训练 Transformer 进行情绪识别
我们使用 Transformer [10] 来处理生理信号。Transformer 最初是为自然语言处理 (NLP) 任务开发的，目的是处理单词序列。鉴于生理信号是值序列，Transformer 可以适用于生理信号处理 [11]。Transformer 采用学习到的注意机制，根据上下文动态评分输入不同部分的相关性。基于注意的处理适合处理生理信号，因为根据任务和上下文，信号的某些部分可能比其他部分传达更多信息。使用 Transformer 的另一个好处是，我们可以从 BERT [12] 中描述的非常成功的预训练技术中受益，该技术是为 NLP 任务开发的，我们可以根据需要进行调整。这种预训练策略已成功应用于其他领域，如计算机视觉 [13]、语音处理 [14] 和情感计算 [15]。
两种方法的故事：揭示GAN的局限性和贝叶斯网络的综合网络交通生成
T细胞受体（TCR）及其同源表位之间结合的准确预测是理解适应性免疫反应和发展免疫疗法的关键。当前方法面临两个显着的局限性：全面的高质量数据的短缺以及通过选择监督学习方法中常用的负面培训数据引起的偏见。我们提出了一种基于变压器的方法，用于相互作用的肽和T细胞受体（Tulip）的方法，该模型通过利用不完整的数据和无监督的学习以及使用语言模型的变压器体系结构来解决这两个限制。我们的模型具有灵活性，并整合了所有可能的数据源，无论其质量或完整性如何。我们证明了先前有监督方法中使用的抽样程序引入的偏差的存在，强调了不受监督的方法的需求。郁金香识别表位的特定TCR结合，在看不见的表位上表现良好。我们的模型优于最先进的模型，并为开发更准确的TCR表位识别模型提供了有希望的方向。
chembertaddi：与变压器和临床见解的变形药物相互作用预测
摘要 - 当两种或多种混合使用的药物会引起不良副作用时，即使使用药物单独使用不会造成伤害时，多药的问题也会引起不利的副作用。药物相互作用（DDIS）是这些反应的主要原因，导致发病率和死亡率增加。由于有害DDI的潜力呈指数增长，因此药物相互作用的预测对于患者的安全和有效的医疗保健管理越来越重要。在本文中，我们开发了Chembertaddi框架，该框架有效地结合了临床域数据，以单副作用特征表示，其富集化学分子表示，该化学分子表示源自Chemberta-77m-MLM，这是一个基于变压器的LAN- lan- gage模型。与五种最先进的方法相比，在基准数据集上进行的实验表现出色：decagon，deepwalk，dedicom，nnps和recrecal。评估表明，Chembertaddi的F1得分为0.94，AUROC为0.97，表现优于基线体系结构，并推广到新的引入的药物化合物。索引术语 - 转化，自然语言处理，分子表示学习，药物 - 药物相互作用，多药，Chemberta，神经网络，深度学习，注意机制，生物信息学
smitin：生成音乐变压器的自我监测的推理时间干预 /作者= koo，junghyun;威奇，戈登； Germain，FrançoisG； Khurana，Sameer； Le Roux，Jonathan /CreationDate = 2025年1月23日 /受试者=人工智能，机器学习，语音< /div < /div>
摘要我们介绍了自我监控的推理时间干预（SMITIN），这是一种使用分类探针来控制自回归的生成音乐变压器的方法。这些简单的逻辑回归探针通过使用表现出特定的音乐性状（例如，鼓声/不存在鼓或真实/合成音乐）的小型音频示例对变压器中每个注意力头的输出进行了训练。然后，我们将注意力头转向探针方向，以确保生成模型输出捕获所需的MUSICAL性状。此外，我们监视探针输出，以避免在自回归产生中添加过量的干预措施，这可能会导致时间上不一致的音乐。我们在音频延续和文本到音乐应用程序中客观和主观验证结果，证明了将控件添加到大多数音乐家的重新培训甚至灌感都是不切实际的大型生成模式中的能力。建议的干预方法的音频样本可在我们的演示页面上
fvit：带有Gabor滤波器的焦点视觉变压器
视觉变形金刚在各种计算机视觉任务中取得了令人鼓舞的进步。一个普遍的信念是，这归因于自我注意力在对特征令牌之间的全球依赖性建模中的能力。然而，自我注意力仍然面临着密集的预测任务的几个挑战，包括高计算复杂性和缺乏理想的电感偏见。为了减轻这些问题，重新审视了视觉变压器与Gabor过滤器的潜在优势，并提出了使用卷积的可学习的Gabor过滤器（LGF）。LGF不依赖自我注意力，它用于模拟生物学视觉系统中基本细胞对输入图像的响应。这鼓励视觉变形金刚专注于跨不同尺度和方向的目标的歧视性特征表示。此外，基于LGF设计了仿生焦点视觉（BFV）块。此块从神经科学中汲取灵感，并引入了双路径前进网络（DPFFN），以模仿生物学视觉皮层的平行和级联信息处理方案。此外，通过堆叠BFV块开发了一个称为焦视变压器（FVITS）的金字塔骨干网络的统一家族。实验结果表明，FVIT在各种视觉任务中表现出卓越的性能。在计算效率和可扩展性方面，与其他同行相比，FVIT具有显着优势。
使用视觉变压器检测植物疾病
植物性疾病对全球粮食安全和农业的可持续性构成了重大风险，从而导致经济损失和阻碍农村生计。传统的疾病检测方法，包括视觉检查和基于实验室的技术，其可扩展性，效率和准确性受到限制。本文解决了使用高级机器学习技术（特别是视觉变压器（VIT））准确检测和诊断植物疾病的关键问题，以克服这些限制。VITS利用自我发明的机制来捕获植物图像中的复杂模式，从而实现准确有效的疾病分类。本文回顾了有关农业深度学习技术的文献，强调了对植物疾病检测的VIT的日益兴趣。此外，它为培训和评估植物疾病分类任务的VIT模型提供了全面的方法。实验结果证明了VIT在准确识别55种平衡类别数据集中的各种植物疾病方面的有效性，强调了它们的潜力彻底改变了精密农业并促进可持续的农业实践。