XiaoMi-AI文件搜索系统
World File Search SystemTransformer
使用粗到精视觉变换器进行仿射医学图像配准
仿射配准在全面的医学图像配准流程中不可或缺。然而，只有少数研究关注快速而鲁棒的仿射配准算法。这些研究中大多数利用卷积神经网络（CNN）来学习联合仿射和非参数配准，而对仿射子网络的独立性能探索较少。此外，现有的基于 CNN 的仿射配准方法要么关注局部错位，要么关注输入的全局方向和位置来预测仿射变换矩阵，这些方法对空间初始化很敏感，并且除了训练数据集之外表现出有限的通用性。在本文中，我们提出了一种快速而鲁棒的基于学习的算法，即粗到精视觉变换器（C2FViT），用于 3D 仿射医学图像配准。我们的方法自然地利用了卷积视觉变换器的全局连通性和局部性以及多分辨率策略来学习全局仿射配准。我们对 3D 脑图谱配准和模板匹配归一化方法进行了评估。综合结果表明，我们的方法在配准精度、稳健性和通用性方面优于现有的基于 CNN 的仿射配准方法，同时保留了基于学习的方法的运行时优势。源代码可在 https://github.com/cwmok/C2FViT 上找到。
VIT-COMER：具有卷积多尺度特征相互作用的视觉变压器，用于密集预测
尽管Vision Transformer（VIT）在计算机视觉方面取得了显着的成功，但由于缺乏内部绘制互动和特征量表的多样性有限，它在密集的预测任务中表现不佳。大多数现有的研究致力于设计视觉特定的变压器来解决上述问题，从而涉及额外的培训前成本。因此，我们提出了一种普通的，无培训的且具有特征增强的vit背骨，并具有指定性的特征性动作，称为Vit-Comer，可促进CNN和Transformer之间的双向相互作用。与现状相比，VIT-COMER具有以下优点：（1）我们将空间金字塔多触发性场卷积特征注入VIT体系结构，从而有效地减轻了VIT中局部信息相互作用和单场表述的有限问题。（2）我们提出了一个简单有效的CNN转换器双向交互模块，该模块在跨层次特征上执行多尺度融合，这对Han-dling密集的预测任务有益。（3）我们评估了在各种密集的预测任务，不同框架和多个高级预训练中VIT-COMER的能力。值得注意的是，我们的VIT-COMER-L在没有额外训练数据的情况下可可Val2017上的AP达到64.3％，而ADE20K Val上的MIOU为62.1％，这两种方法都与最先进的方法相当。我们希望VIT-COMER可以作为密集预测任务的新骨干，以促进未来的研究。该代码将在https：//github.com/traffic-x/vit-comer上发布。
MADTP：多模式对准引导的动态令牌修剪，以加速视力 - 语言变压器
视觉 - 语言变压器（VLT）最近显示出巨大的成功，但同时伴随着大量的计算成本，其中主要原因可以归因于大量的视觉和语言令牌。存在用于压缩VLTS的令牌修剪研究主要遵循基于单模式的方案，但忽略了对齐不同模态来指导令牌修剪过程的关键作用，从而导致重要的代币在另一个模态分支中错误地修剪一个模态。同时，现有的VLT修剪作品也缺乏基于不同输入样本动态压缩每一层的灵活性。为此，我们提出了一个名为M Ultodal的新颖框架，用于加速变化VLT的木质制成d ynamic t ynamic t oken p Runing（MADTP）。具体来说，我们首先引入了精心设计的多模式对齐指导（MAG）模块，该模块可以使相同语义概念的特征与不同的模式相结合，以确保修剪的代币对所有模式都不太重要。我们进一步设计了一种新型的dy-namic令牌修剪（DTP）模块，该模块可以根据不同的输入实例自适应地调节每个层中的令牌压缩比。对各种基准测试的广泛实验表明，MADTP可以显着确定多种模型的计算复杂性，同时保留竞争性能。值得注意的是，当将MADTP应用于NLVR2数据集中的BLIP模型时，可以将GFLOPS降低80％，而性能降低少于4％。该代码可在https://github.com/double125/madtp上找到。
在平等中偏爱一个 - 不是一个好主意：基于变形金刚的人行人检测的多对一匹配
与基于卷积神经网络（CNN）相比，我们研究了基于变压器的行人检测模型较低性能的原因。CNN模型会产生密集的行人建议，单独完善每个建议，然后对其进行非最大抑制（NMS）的跟进，以产生稀疏的预测。在争论中，变压器模型每个地面真相（GT）行人盒选择一个建议，然后从中选择了正面的正态。所有其他建议，其中许多与选定的建议高度相似，都通过了负梯度。尽管这导致了稀疏的预测，从而消除了NM的需求，但在许多类似的建议中，任意选择，有效的训练和较低的行人检测准确性。为了减轻问题，我们建议基于Min-Cost-Flow的配方，而不是常用的Kuhn-Munkres匹配算法，并纳入了诸如每个地面真相盒的约束，并且与一个建议的提案相匹配，并且许多同样好的建议可以与单个地面真相盒相匹配。我们提出了基于匹配算法的第一个基于变压器的行人检测模型。广泛的实验表明，我们的方法达到了3个失误率（较低）3。7 /17。4 /21。8/8。3/2。0在Eurocity / tju-traffic / tju-校园 /城市专家 /加州理工学院数据集中，而4个。7/18。7/24。8/8。5/3。 1通过当前的sota。 代码可从https://ajayshastry08.github.io/flow_ matcher 获得。5/3。1通过当前的sota。代码可从https://ajayshastry08.github.io/flow_ matcher
表演者：一种新型的PPG至ECG重建变压器，用于心血管疾病检测的数字生物标志物
心电图（ECG）是一种捕获心脏活动的电测量，是诊断心血管疾病（CVD）的金标准。但是，由于ECG需要使用用户参与，因此不可避免地进行心脏监测。相比之下，光电学（PPG）提供了易于收集的数据，但其精度有限限制了其临床用法。为了确定这两个信号的优势，最近的研究不适合将PPG信号重新构成到ECG的各种深度学习技术；但是，缺乏文本信息以及降低噪声生物医学信号的能力最终会限制模型的影响。在这项研究中，我们提出了一种基于变压器的新型体系结构，可从PPG重建ECG，并将PPG和重建的ECG与CVD检测的多种方式相结合。此方法是第一次在生物医学波形重构上进行了变压器序列到序列转换，并结合了PPG和ECG的优势。我们还创建了基于斑块的注意（SPA），这是一种效率方法，用于编码/解码生物医学波形。通过获取各种序列长度并捕获交叉点连接，SPA最大程度地提高了本地特征和全局上下文反复的信号操作。所提出的体系结构在BIDMC数据库上生成了0.29 RMSE的状态性能，以重新构建PPG到ECG，超过了先前的研究。我们还在模拟III数据集上评估了该模型，在CVD检测中达到了95.9％的精度，并在PPG-BP数据集中评估了该模型，在相关的CVD糖尿病检测中达到了75.9％的精度，表明其一般能力。作为一种概念证明，一种名为Pearl（原型）的耳环可穿戴式可穿戴，旨在扩大护理点（POC）医疗保健系统。
表演探索生成预训练的变压器-2歌词生成
摘要。近年来，自然语言处理领域（NLP）发生了一场革命，文字一代在这一转变中起着关键作用。这种转变不仅限于技术领域，而且还无缝渗透了创意领域，一个很好的例子是歌曲歌词的一代。真正有效的生成模型，例如生成训练的预训练变压器（GPT）-2，需要进行微调作为关键步骤。本文利用了广泛参考的Kaggle数据集的鲁棒性，标题为“歌曲歌词”，仔细探讨了调节三个关键参数的影响：学习率，批处理大小和序列长度。数据集提出了一个引人入胜的叙述，该叙述将学习率视为最有影响力的决定因素，直接影响了产生的歌词的质量和连贯性。在增加批处理大小和扩展序列长度有望增强模型性能的同时，很明显，还有一个饱和点，超出该点的效果受到限制。通过此探索，本文旨在揭开模型校准的复杂世界，并强调战略参数选择在追求抒情卓越方面的重要性。
摘要 研究：AI 社会认知评估与建模。评估 LLM 中的心智理论及其在心理学中的应用 NLP：LLM IFT、表征学习（对比和三重态损失）、语义聚类、总结 DL：Transformers、MoE、EncDec、RNNs、DPO、LoRA 工具：Python、Pytorch、Deepspeed、AWS Sagemaker、hydra、SQL 管理：建立 ML 团队、职能、策略和 OKR、招募和指导科学家和实习生以及建立数据和注释伙伴关系。
摘要 研究：AI 社会认知评估与建模。评估 LLM 中的心智理论及其在心理学中的应用 NLP：LLM IFT、表征学习（对比和三重态损失）、语义聚类、总结 DL：Transformers、MoE、EncDec、RNNs、DPO、LoRA 工具：Python、Pytorch、Deepspeed、AWS Sagemaker、hydra、SQL 管理：建立 ML 团队、职能、策略和 OKR、招聘和指导科学家和实习生以及建立数据和注释合作伙伴关系。
多模式推理的问题意识视力变压器
视觉语言（VL）模型已获得了显着的重点，从而在多模式推理方面取得了显着进步。这些体系结构通常包括视觉编码器，大型语言模型（LLM）和一个将视觉特征与LLM的代表空间保持一致的投影模块。尽管他们成功了，但仍然存在一个关键的限制：愿景编码过程仍然与用户查询相关，通常是以与图像相关的问题的形式。因此，所得的视觉特征可能无法最佳地调整图像的特定元素。为了解决这个问题，我们介绍了QA-Vit，这是一种问题的多模式原因，这是一种问题，将问题意识直接嵌入到视觉编码器中。此集成导致动态视觉特征，重点是提出问题的相关图像方面。QA-VIT是模型 - 静态的，并且可以有效地将其置于任何VL体系结构中。广泛的经验证明了将我们的方法应用于各种多模式体系结构的有效性，从而导致跨不同任务的一致改进，并展示了其以增强视觉和场景文本理解的能力。
m3t：使用多平面和多板变压器
在这项研究中，我们提出了使用多平面和多层跨前（M3T）网络的三维医学图像分类器，以在3D MRI图像中对阿尔茨海默氏病（AD）进行分类。提出的网络协同委托3D CNN，2D CNN和变压器用于准确的AD分类。3D CNN用于执行本机3D表示学习，而2D CNN用于利用大型2D数据库和2D代表学习的预训练权重。使用具有感应性偏置的CNN网络有效地提取局部大脑中与AD相关的异常的信息信息。跨前网络还用于获得CNN后多平面（轴向，冠状和矢状）和多切片图像之间的注意力关系。也可以使用不感应偏置的变压器学习分布在大脑中较大区域的差异。在此期间，我们使用了来自阿尔茨海默氏病神经影像学计划（ADNI）的训练数据集，该计划总共包含4,786 3D T1加权MRI图像。对于有效数据，我们使用了来自三个不同机构的数据集：澳大利亚成像，生物标志物和生活方式旗舰研究（AIBL）（AIBL），开放访问Imaging研究（OASIS）的开放访问系列（OASIS）以及来自培训数据集中的一些ADNI数据。我们提出的M3T基于曲线（AUC）下的区域（AUC）和AD分类的分类精度，与常规的3D分类网络相结合。这项研究表示，所构成的网络M3T在多机构验证数据库中实现了最高的性能，并证明了该方法有效地将CNN和Transformer用于3D医学图像的可行性。
通过社交媒体和变压器模型了解躁郁症：挑战和见解
通过社交媒体和变形金刚模型了解躁郁症：挑战和见解葡萄etsrivastava*，Lokesh Boggavarapu*，Anthony Shin*，Anthony Shin*，Avisek Datta，Yingda Lu，runa bhaumik **伊利诺伊州芝加哥**伊利诺伊州芝加哥大学的同等贡献者**相应的社交媒体* （BD）仍然显着未充满意。复杂性是由与抑郁和焦虑相关的语言模式的重叠产生的，使准确的识别挑战。本研究旨在基准在Reddit帖子上训练的各种变压器模型的性能，以将BD与其他心理健康状况区分开。使用高性能生成AI模型（GPT-4O）作为基准，分析表明某些开放小型模型（ex。MISTRAL，LLAMA）在捕获与BD相关的微妙语言线索方面表现出色，以高精度和召回率达到高达0.86的F1得分。但是，BD经常被错误分类为抑郁症（23％–51％），正常（2％–41％）和焦虑症（1％–7％），强调了对改进方法的需求。该研究强调了特定于域数据的重要性以及更细微的模型以增强BD检测准确性，为更有效的心理健康监测和及时干预铺平了道路。