XiaoMi-AI文件搜索系统
World File Search SystemTransformer
MADTP：多模式对准引导的动态令牌修剪，以加速视力 - 语言变压器
视觉 - 语言变压器（VLT）最近显示出巨大的成功，但同时伴随着大量的计算成本，其中主要原因可以归因于大量的视觉和语言令牌。存在用于压缩VLTS的令牌修剪研究主要遵循基于单模式的方案，但忽略了对齐不同模态来指导令牌修剪过程的关键作用，从而导致重要的代币在另一个模态分支中错误地修剪一个模态。同时，现有的VLT修剪作品也缺乏基于不同输入样本动态压缩每一层的灵活性。为此，我们提出了一个名为M Ultodal的新颖框架，用于加速变化VLT的木质制成d ynamic t ynamic t oken p Runing（MADTP）。具体来说，我们首先引入了精心设计的多模式对齐指导（MAG）模块，该模块可以使相同语义概念的特征与不同的模式相结合，以确保修剪的代币对所有模式都不太重要。我们进一步设计了一种新型的dy-namic令牌修剪（DTP）模块，该模块可以根据不同的输入实例自适应地调节每个层中的令牌压缩比。对各种基准测试的广泛实验表明，MADTP可以显着确定多种模型的计算复杂性，同时保留竞争性能。值得注意的是，当将MADTP应用于NLVR2数据集中的BLIP模型时，可以将GFLOPS降低80％，而性能降低少于4％。该代码可在https://github.com/double125/madtp上找到。
多模式推理的问题意识视力变压器
视觉语言（VL）模型已获得了显着的重点，从而在多模式推理方面取得了显着进步。这些体系结构通常包括视觉编码器，大型语言模型（LLM）和一个将视觉特征与LLM的代表空间保持一致的投影模块。尽管他们成功了，但仍然存在一个关键的限制：愿景编码过程仍然与用户查询相关，通常是以与图像相关的问题的形式。因此，所得的视觉特征可能无法最佳地调整图像的特定元素。为了解决这个问题，我们介绍了QA-Vit，这是一种问题的多模式原因，这是一种问题，将问题意识直接嵌入到视觉编码器中。此集成导致动态视觉特征，重点是提出问题的相关图像方面。QA-VIT是模型 - 静态的，并且可以有效地将其置于任何VL体系结构中。广泛的经验证明了将我们的方法应用于各种多模式体系结构的有效性，从而导致跨不同任务的一致改进，并展示了其以增强视觉和场景文本理解的能力。
m3t：使用多平面和多板变压器
在这项研究中，我们提出了使用多平面和多层跨前（M3T）网络的三维医学图像分类器，以在3D MRI图像中对阿尔茨海默氏病（AD）进行分类。提出的网络协同委托3D CNN，2D CNN和变压器用于准确的AD分类。3D CNN用于执行本机3D表示学习，而2D CNN用于利用大型2D数据库和2D代表学习的预训练权重。使用具有感应性偏置的CNN网络有效地提取局部大脑中与AD相关的异常的信息信息。跨前网络还用于获得CNN后多平面（轴向，冠状和矢状）和多切片图像之间的注意力关系。也可以使用不感应偏置的变压器学习分布在大脑中较大区域的差异。在此期间，我们使用了来自阿尔茨海默氏病神经影像学计划（ADNI）的训练数据集，该计划总共包含4,786 3D T1加权MRI图像。对于有效数据，我们使用了来自三个不同机构的数据集：澳大利亚成像，生物标志物和生活方式旗舰研究（AIBL）（AIBL），开放访问Imaging研究（OASIS）的开放访问系列（OASIS）以及来自培训数据集中的一些ADNI数据。我们提出的M3T基于曲线（AUC）下的区域（AUC）和AD分类的分类精度，与常规的3D分类网络相结合。这项研究表示，所构成的网络M3T在多机构验证数据库中实现了最高的性能，并证明了该方法有效地将CNN和Transformer用于3D医学图像的可行性。
3D猫：脑肿瘤的通道注意变压器
摘要 - 脑肿瘤诊断是一项具有挑战性的任务，但对于计划治疗以停止或减慢肿瘤的生长至关重要。在过去的十年中，卷积神经网络（CNN）在医学图像中肿瘤的自动分割中的高性能急剧增加。最近，与CNN相比，视觉变压器（VIT）已成为医学成像的稳健性和效率的核心重点。在本文中，我们提出了一个新颖的3D变压器，称为3D catbrats，用于基于最先进的SWIN变压器的磁共振图像（MRIS），用于使用残留块和通道注意模块的最先进的SWIN变压器进行磁共振图像（MRI）。在Brats 2021数据集上评估了所提出的方法，并实现了在验证阶段超过当前最新方法的平均骰子相似性系数（DSC）的定量度量。索引项 - CNN，变形金刚，VIT，语义段
在平等中偏爱一个 - 不是一个好主意：基于变形金刚的人行人检测的多对一匹配
与基于卷积神经网络（CNN）相比，我们研究了基于变压器的行人检测模型较低性能的原因。CNN模型会产生密集的行人建议，单独完善每个建议，然后对其进行非最大抑制（NMS）的跟进，以产生稀疏的预测。在争论中，变压器模型每个地面真相（GT）行人盒选择一个建议，然后从中选择了正面的正态。所有其他建议，其中许多与选定的建议高度相似，都通过了负梯度。尽管这导致了稀疏的预测，从而消除了NM的需求，但在许多类似的建议中，任意选择，有效的训练和较低的行人检测准确性。为了减轻问题，我们建议基于Min-Cost-Flow的配方，而不是常用的Kuhn-Munkres匹配算法，并纳入了诸如每个地面真相盒的约束，并且与一个建议的提案相匹配，并且许多同样好的建议可以与单个地面真相盒相匹配。我们提出了基于匹配算法的第一个基于变压器的行人检测模型。广泛的实验表明，我们的方法达到了3个失误率（较低）3。7 /17。4 /21。8/8。3/2。0在Eurocity / tju-traffic / tju-校园 /城市专家 /加州理工学院数据集中，而4个。7/18。7/24。8/8。5/3。 1通过当前的sota。 代码可从https://ajayshastry08.github.io/flow_ matcher 获得。5/3。1通过当前的sota。代码可从https://ajayshastry08.github.io/flow_ matcher
小波损耗的训练变压器模型可改善单图像超分辨率
基于变压器的模型已在包括图像超级分辨率（SR）在内的低级视觉任务中取得了显着的结果。但是，在获得全球信息时，基于不重叠的窗口中依赖自我注意的早期aperach遇到了挑战。为了激活全球更多输入像素，已经提出了混合注意模型。此外，通过仅将像素的RGB损失（例如L 1）降至最低而无法捕获基本的高频降低，训练不足。本文提出了两种贡献：i）我们引入了卷积非本地稀疏注意（NLSA）块，以扩展混合变压器体系结构，以增强其接受场。ii）我们采用小波损失来训练变压器模型，以提高定量和主观性能。虽然先前已经探索过小波损耗，但在基于训练变压器的SR模型中显示了它们的力量是新颖的。我们的实验结果表明，所提出的模型在各种基准数据集中提供了状态的PSNR结果以及出色的视觉性能。
Longformer：利用结构 MRI 对阿尔茨海默病进行分类的纵向转换器
结构磁共振成像 (sMRI)，尤其是纵向 sMRI，通常用于在阿尔茨海默病 (AD) 临床诊断期间监测和捕捉病情进展。然而，目前的方法忽视了 AD 的渐进性，大多依赖单一图像来识别 AD。在本文中，我们考虑利用受试者的纵向 MRI 进行 AD 分类的问题。为了解决学习纵向 3D MRI 时缺失数据、数据需求和随时间发生的细微变化等挑战，我们提出了一个新模型 LongFormer，它是一种混合 3D CNN 和变压器设计，可从图像和纵向流对中学习。我们的模型可以充分利用数据集中的所有图像，并有效地融合时空特征进行分类。我们在三个数据集（即 ADNI、OASIS 和 AIBL）上评估我们的模型，并将其与八种基线算法进行比较。我们提出的 LongFormer 在对来自所有三个公共数据集的 AD 和 NC 对象进行分类方面取得了最先进的性能。我们的源代码可从 https://github.com/Qybc/LongFormer 在线获取。
郁金香：用于提高LIDAR点云的变压器
LIDAR UPSMPLING对于机器人和自动驾驶汽车的启示系统来说是一项艰巨的任务，这是由于大型场景的稀疏结构稀疏和不规则的结构。最近的作品建议通过将LIDAR数据从3D欧几里得空间传播到2D图像空间中的一个超级分辨率问题来解决此问题。尽管他们的方法可以生成具有细粒细节的高分辨率范围图像，但由此产生的3D点云是10个模糊细节并预测无效的点。在此pa-per中，我们提出了郁金香，这是一种从低分辨率激光雷达输入中重建高分辨率激光圈云的新方法。我们还遵循一种基于图像的方法，但特定地修改了基于Swin-Transformer网络的贴片和窗口几何形状，以更好地拟合范围图像的特性。我们在三个公共现实世界和模拟数据集上进行了几项实验。郁金香在所有相关指标中都优于最先进的方法，并且比以前的工作生成了强大，更现实的点云。该代码可在https：//github.com/ethz-asl/tulip.git上找到。
Genai / Transformers研讨会概述，内部和见解< / div>
➢j和l是损失 /错误 /成本功能的通常符号，即< / div>模型预测的内容与根据地面真理预测的内容之间的区别。
解剖学知情的混合图CNN-TransFormer ...
使用深层神经网络越来越多地研究了大脑连接与非成像表型之间的关系。但是，在卷积网络设计中通常会忽略大脑白奇网络的局部和全球性能。我们介绍了Tractgraphformer，这是一种混合图CNN-Transformer的深度学习框架，该框架是针对扩散MRI拖拉术的。该模型利用白质结构的局部解剖特征和全局特征依赖性。图形CNN模块捕获了白质的几何形状和灰质连接到从解剖上相似的白色物质连接中汇总局部特征，而变压器模块则使用自我注意来增强全球信息学习。此外，TractGraphFormer还包括一个用于解释预测白质连接的注意模块。在性别预测测试中，TractGraphFormer在大的儿童数据集（n = 9345）和年轻人（n = 1065）中表现出强烈的表现。总的来说，我们的方法表明，WM中的广泛连接可以预测一个个体的性别，并且在两个数据集中确定了一致的预测解剖区。提出的方法突出了整合局部解剖信息和全球特征依赖性的潜力，以通过扩散MRI拖拉术在机器学习中提高预测性能。