XiaoMi-AI文件搜索系统
World File Search SystemTransform
shvit：带有内存有效宏设计的单头视觉变压器
最近，有效的视觉变压器表现出出色的性能，并且在资源受限的范围内延迟较低。通常，他们在宏观水平上使用4×4贴片嵌入式和4阶段结构，同时在微观级别利用多头配置的同时注意力。本文旨在解决记忆效率高的人中所有设计级别的计算重复。我们发现，使用较大的修补茎不仅降低了内存访问成本，而且还通过利用令牌表示，从早期阶段降低了空间冗余，从而实现了态度性能。fur-hoverore，我们的初步分析表明，在早期阶段的注意力层可以用会议代替，并且后期阶段的几个注意力头在计算上是多余的。为了处理这一点，我们介绍了一个单头注意模块，该模块固有地预先预先冗余，并同时通过相结合的全局和本地信息来提高准确性。在解决方案的基础上，我们引入了Shvit，这是一种单头视觉变压器，获得了最先进的速度准确性权衡。例如，在ImagEnet-1k上，我们的SHVIT-S4在GPU，CPU和iPhone12移动设备上比MobileVitV2×1.0快3.3×，8.1×和2.4倍，而同时更准确。用于使用Mask-RCNN头对MS Coco进行的对象检测和实例分割，我们的模型分别在GPU和移动设备上表现出3.8×和2.0×下骨架潜伏期时，可以与FastVit-SA12进行比较。
使用粗到精视觉变换器进行仿射医学图像配准
仿射配准在全面的医学图像配准流程中不可或缺。然而，只有少数研究关注快速而鲁棒的仿射配准算法。这些研究中大多数利用卷积神经网络（CNN）来学习联合仿射和非参数配准，而对仿射子网络的独立性能探索较少。此外，现有的基于 CNN 的仿射配准方法要么关注局部错位，要么关注输入的全局方向和位置来预测仿射变换矩阵，这些方法对空间初始化很敏感，并且除了训练数据集之外表现出有限的通用性。在本文中，我们提出了一种快速而鲁棒的基于学习的算法，即粗到精视觉变换器（C2FViT），用于 3D 仿射医学图像配准。我们的方法自然地利用了卷积视觉变换器的全局连通性和局部性以及多分辨率策略来学习全局仿射配准。我们对 3D 脑图谱配准和模板匹配归一化方法进行了评估。综合结果表明，我们的方法在配准精度、稳健性和通用性方面优于现有的基于 CNN 的仿射配准方法，同时保留了基于学习的方法的运行时优势。源代码可在 https://github.com/cwmok/C2FViT 上找到。
通过融合改变教育技术
今年发布的 NAEP 分数显示，COVID 对学生学习产生了巨大影响：阅读和数学成绩的下降幅度是实施测试 30 年来最大的。即使在疫情之前，NAEP 分数也落后了。为了让美国的教育系统重回正轨，我们邀请了来自不同团体的 40 位专家——从教育技术公司到慈善组织再到教师——来讨论可能的解决方案。该小组强调了教育的多学科和融合性质，教育领域涉及心理学、认知科学、社会学和经济学以及正在学习的特定领域（数学、生物学、化学等）。教育传统上是孤立的，往往抵制从技术到职业和工作性质变化等关键社会创新。这使得教育成为融合加速器的绝佳潜在轨道，它“建立在基础研究和发现的基础上，以加速解决方案对社会产生影响。”在构思了数据科学教育、中学数学和评估等关键领域的可交付成果后，该小组讨论了这些领域的交叉趋势。他们发现，支持教育融合至关重要，这将有助于让当今的学生成为明智的决策者、积极解决问题的人和自我导向的终身学习者。本报告提出了专家认为对改善教育机会至关重要的关键主题和必要的伙伴关系。然后，它研究了产生能够改变美国教育格局的可交付成果所需的关键学科和融合。可交付成果的主要未来方向、其智力价值和更广泛的社会影响：● 中学数学可交付成果侧重于提高学生的积极性、数学概念和技能的相关性、支持协作和基于项目的学习、优化和扩展反馈机制以及开发 AI 来响应学生的输入。这些创新将有助于揭示更多关于成就和机会差距以及其他在 STEM 领域对学生群体产生不同影响的机制。 ● 数据科学教育成果侧重于让学生掌握处理数据的程序技能，并支持教师及时对数据科学相关的评估提供反馈。这些成果的智力价值包括了解如何将数据科学教育融入主流课程——或将其作为一门独立的学科进行开发和教授（Engel，2017）——鉴于其跨学科性质。● 评估成果侧重于开发新的、越来越不引人注目的学生评估方式，包括游戏化等元素以及评估更广泛的技能（如自我调节和协作学习）。这些成果的智力价值包括更深入地理解学习过程，通过更有效、更少破坏性和更全面的评估产生更广泛的影响。
碳减少计划 - 2025年2月
HEET与MIT ESI和MIT Open Learning合作，在1月30日至31日在独立活动期（IAP）的1月30日至31日提供了为期两天的课程“地热能网络：改变我们的热能系统”。本课程的目标是为参与者提供地热网络如何将热系统转换为清洁可再生能源的概述。本课程将汇集不同的专家和利益相关者，以涵盖以下主题，因为它们与地热能网络（GENS）相关：构建气候变化和能源挑战；劳动力，健康和环境正义；政策创新；城市和社会规模的扩张；设计原则；钻探，建筑和调试；生产力的建模和对电网的影响；和案例研究。
AI趋势2025：转型行业并塑造未来
1。Generative AI Is Fuelling Industry Innovation ................................65 5
3D猫：脑肿瘤的通道注意变压器
摘要 - 脑肿瘤诊断是一项具有挑战性的任务，但对于计划治疗以停止或减慢肿瘤的生长至关重要。在过去的十年中，卷积神经网络（CNN）在医学图像中肿瘤的自动分割中的高性能急剧增加。最近，与CNN相比，视觉变压器（VIT）已成为医学成像的稳健性和效率的核心重点。在本文中，我们提出了一个新颖的3D变压器，称为3D catbrats，用于基于最先进的SWIN变压器的磁共振图像（MRIS），用于使用残留块和通道注意模块的最先进的SWIN变压器进行磁共振图像（MRI）。在Brats 2021数据集上评估了所提出的方法，并实现了在验证阶段超过当前最新方法的平均骰子相似性系数（DSC）的定量度量。索引项 - CNN，变形金刚，VIT，语义段
表演探索生成预训练的变压器-2歌词生成
摘要。近年来，自然语言处理领域（NLP）发生了一场革命，文字一代在这一转变中起着关键作用。这种转变不仅限于技术领域，而且还无缝渗透了创意领域，一个很好的例子是歌曲歌词的一代。真正有效的生成模型，例如生成训练的预训练变压器（GPT）-2，需要进行微调作为关键步骤。本文利用了广泛参考的Kaggle数据集的鲁棒性，标题为“歌曲歌词”，仔细探讨了调节三个关键参数的影响：学习率，批处理大小和序列长度。数据集提出了一个引人入胜的叙述，该叙述将学习率视为最有影响力的决定因素，直接影响了产生的歌词的质量和连贯性。在增加批处理大小和扩展序列长度有望增强模型性能的同时，很明显，还有一个饱和点，超出该点的效果受到限制。通过此探索，本文旨在揭开模型校准的复杂世界，并强调战略参数选择在追求抒情卓越方面的重要性。
VIT-COMER：具有卷积多尺度特征相互作用的视觉变压器，用于密集预测
尽管Vision Transformer（VIT）在计算机视觉方面取得了显着的成功，但由于缺乏内部绘制互动和特征量表的多样性有限，它在密集的预测任务中表现不佳。大多数现有的研究致力于设计视觉特定的变压器来解决上述问题，从而涉及额外的培训前成本。因此，我们提出了一种普通的，无培训的且具有特征增强的vit背骨，并具有指定性的特征性动作，称为Vit-Comer，可促进CNN和Transformer之间的双向相互作用。与现状相比，VIT-COMER具有以下优点：（1）我们将空间金字塔多触发性场卷积特征注入VIT体系结构，从而有效地减轻了VIT中局部信息相互作用和单场表述的有限问题。（2）我们提出了一个简单有效的CNN转换器双向交互模块，该模块在跨层次特征上执行多尺度融合，这对Han-dling密集的预测任务有益。（3）我们评估了在各种密集的预测任务，不同框架和多个高级预训练中VIT-COMER的能力。值得注意的是，我们的VIT-COMER-L在没有额外训练数据的情况下可可Val2017上的AP达到64.3％，而ADE20K Val上的MIOU为62.1％，这两种方法都与最先进的方法相当。我们希望VIT-COMER可以作为密集预测任务的新骨干，以促进未来的研究。该代码将在https：//github.com/traffic-x/vit-comer上发布。
MADTP：多模式对准引导的动态令牌修剪，以加速视力 - 语言变压器
视觉 - 语言变压器（VLT）最近显示出巨大的成功，但同时伴随着大量的计算成本，其中主要原因可以归因于大量的视觉和语言令牌。存在用于压缩VLTS的令牌修剪研究主要遵循基于单模式的方案，但忽略了对齐不同模态来指导令牌修剪过程的关键作用，从而导致重要的代币在另一个模态分支中错误地修剪一个模态。同时，现有的VLT修剪作品也缺乏基于不同输入样本动态压缩每一层的灵活性。为此，我们提出了一个名为M Ultodal的新颖框架，用于加速变化VLT的木质制成d ynamic t ynamic t oken p Runing（MADTP）。具体来说，我们首先引入了精心设计的多模式对齐指导（MAG）模块，该模块可以使相同语义概念的特征与不同的模式相结合，以确保修剪的代币对所有模式都不太重要。我们进一步设计了一种新型的dy-namic令牌修剪（DTP）模块，该模块可以根据不同的输入实例自适应地调节每个层中的令牌压缩比。对各种基准测试的广泛实验表明，MADTP可以显着确定多种模型的计算复杂性，同时保留竞争性能。值得注意的是，当将MADTP应用于NLVR2数据集中的BLIP模型时，可以将GFLOPS降低80％，而性能降低少于4％。该代码可在https://github.com/double125/madtp上找到。