XiaoMi-AI文件搜索系统
World File Search SystemMamba
Mamba：有效的世界模型
[1] Dorfman等。离线元RL - 可识别性挑战和有效的数据收集策略，2021 [2] Yu等。元世界：多任务和元加强学习的基准和评估，2019 [3] Rakelly等。通过概率上下文变量有效的非政策元提升学习，2019
Zigma：DIT风格的曲折Mamba扩散模型
摘要该扩散模型长期以来一直受到可扩展性和二次复杂性问题的困扰，尤其是在基于变压器的结构中。在这项研究中，我们旨在利用称为Mamba的状态空间模型的长序列建模可容纳，以扩展其对视觉数据生成的适用性。首先，我们确定了大多数基于MAMBA的视力方法的关键监督，即缺乏对Mamba扫描方案中空间连续性的考虑。Secondly, build- ing upon this insight, we introduce Zigzag Mamba, a simple, plug-and- play, minimal-parameter burden, DiT style solution, which outperforms Mamba-based baselines and demonstrates improved speed and memory utilization compared to transformer-based baselines, also this heteroge- neous layerwise scan enables zero memory and speed burden when we consider more scan paths.最后，我们将Zigzag Mamba与随机插值框架整合在一起，以研究大分辨率视觉数据集上该模型的可扩展性，例如FaceShQ 1024×1024和UCF101，Multimopal-Celeba-HQ，以及MS Coco 256×256。
地对空防御系统 - samp mamba
就像战斗机或空军的 E-3F SDCA 一样，地对空防御意味着为防空任务做出贡献。它们肩负着两项具体使命：保障陆军作战部队的防空安全以及协助防御战区弹道导弹。为此，这些系统围绕三大互补支柱构建：三维国防管理中心的指挥和控制资源（CMD3D）、中程地对空系统（SAMP Mamba）和短程地对空防御系统（Crotale NG和视觉监视）。它们完全连接到空中作战指挥和控制 (C2) 网络，并根据已部署的地对空防御系统的神经中枢 CMD3D 的请求进行干预。它们主要在 DPSA（特殊空中安全设备）期间使用，用于在一次性高能见度事件（7 月 14 日游行、巴黎航空展等）期间建立保护气泡。）。
Mambaout：我们真的需要Mamba才能进行视觉吗？
摘要 - Mamba是一种具有RNN样的状态空间模型（SSM）的架构，最近引入了以解决注意机制的二次复杂性，随后应用于视觉任务1。尽管如此，与卷积和基于注意力的模型相比，Mamba的视力表现通常令人难以置信。在本文中，我们深入研究了Mamba的本质，并从概念上得出结论，Mamba非常适合具有长期序列和自回归特征的任务。对于视觉任务，由于图像分类不与任何一个特征保持一致，因此我们假设Mamba对于此任务不是必需的；检测和细分任务也不是自动回归的，但它们遵守了长期的特征，因此我们认为仍然值得探索Mamba的这些任务潜力。为了凭经验验证我们的假设，我们通过堆叠Mamba块构建了一系列名为Mambaout的模型，同时删除其核心令牌混合器SSM。实验结果强烈支持我们的假设。具体来说，我们的Mambaout模型超过了ImageNet图像分类上的所有视觉Mamba模型，表明Mamba确实不需要执行此任务。对于检测和分割，Mambaout不能匹配最先进的视觉Mamba模型的性能，这证明了Mamba在长期的视觉任务中的潜力。
MAMBA 在乌克兰 - 武装部队部
武装部队部媒体中心 60 boulevard du général Martial Valin CS 21623 - 75009 Paris Cedex 15
Biomamba：一种利用Mamba
摘要在生物学中的自然语言处理（NLP）的进步取决于模型解释复杂的生物医学文献的能力。传统模型通常在该领域的复杂和特定领域的语言中挣扎。在本文中，我们提出了Biomamba，这是一种专门为生物医学文本挖掘设计的预培训模型。Biomamba建立在Mamba的建筑上，并在生物医学文学的典型语料库中进行了预培训。我们的实证研究表明，在各种生物医学任务上，Biomamba显着优于Biobert和General Domain Mamba等模型。，对于Intance，Biomamba可实现100倍的困惑性，而Bioasq上的跨透明镜损失减少了4倍[29]测试集。我们提供了模型体系结构，预训练过程和微调技术的概述。此外，我们发布了代码和经过训练的Model 1，以促进进一步的研究。
Vision Mamba：具有3D MRI扫描的阿尔茨海默氏病的尖端分类
抽象分类3D MRI图像以早期检测阿尔茨海默氏病是医学成像中的关键任务。使用卷积神经网络（CNN）和变形金刚在该领域面临重大挑战的传统方法。cnns虽然有效地捕获本地空间特征，但要与远程依赖关系挣扎，并且通常需要大量的计算资源来获得高分辨率3D数据。变形金刚在捕获全局上下文方面表现出色，但在推理时间的二次复杂性却需要大量记忆，因此对于大规模的3D MRI数据而言，它们的效率降低了。为了解决这些局限性，我们建议使用Vision Mamba（一种基于状态空间模型（SSM）的高级模型（SSM），以对3D MRI图像进行分类以检测阿尔茨海默氏病。Vision Mamba利用动态状态表示和选择性扫描算法，从而使其能够有效地捕获和保留3D卷的重要空间信息。通过基于输入特征动态调整状态过渡，Vision Mamba可以选择性保留相关信息，从而导致3D MRI数据的更准确和计算有效的处理。我们的方法结合了培训期间卷积操作的可行性质，并在推断过程中进行了有效的，经常性的处理。此体系结构不仅提高了计算效率，而且还提高了模型处理3D医学图像中长期依赖关系的能力。实验结果表明，Vision Mamba的表现优于传统的CNN和变压器模型的准确性，这使其成为使用3D MRI数据早期检测阿尔茨海默氏病的有前途的工具。
视觉mamba：双向状态空间模型的有效视觉表示学习
最近，具有效率的硬件感知设计的状态空间模型（SSM），即Mamba深度学习模型，已显示出长序列建模的巨大计算。同时，纯粹在SSM上建立有效和通用的视力骨干是一个吸引人的方向。，由于视觉数据的位置敏感性以及全球上下文对视觉理解的要求，代表视觉数据对SSM的挑战。在本文中，我们表明，对自我注意力的依赖无需进行视觉代表学习，并提出了带有双向Mamba块（VIM）的新的通用视觉主链，该主块（VIM）标记了带有位置嵌入的图像序列，并用Bidirectiact态态空间模型将视觉表示。Imagenet分类，可可对象检测和ADE20K
Mamba 作为决策者：探索离线强化学习中的多尺度序列建模
摘要 — 顺序建模在离线强化学习 (RL) 中表现出色，其中决策转换器 (DT) 是最显著的代表之一，取得了显著的成功。然而，RL 轨迹具有与传统序列（例如文本或音频）不同的独特属性：（1）局部相关性，其中 RL 中的下一个状态在理论上仅由基于马尔可夫决策过程 (MDP) 的当前状态和动作决定，以及 (2) 全局相关性，其中由于轨迹的时间连续性，每个步骤的特征都与长期历史信息相关。在本文中，我们提出了一种新颖的动作序列预测器，名为 Mamba Decision Maker (MambaDM)，其中 Mamba 有望成为序列建模范式的有前途的替代方案，因为它可以有效地建模多尺度依赖关系。特别是，我们介绍了一种新颖的混合器模块，它可以熟练地提取和集成输入序列的全局和局部特征，从而有效地捕捉 RL 数据集中的相互关系。大量实验表明，MambaDM 在 Atari 和 OpenAI Gym 数据集上实现了最佳性能。此外，我们通过实证研究了 MambaDM 的扩展规律，发现增加模型大小不会带来性能提升，但将 MambaDM 的数据集大小扩大 2 倍可以在 Atari 数据集上获得高达 33.7% 的得分提升。本文深入探讨了 MambaDM 在 RL 领域的序列建模能力，为未来在稳健高效的决策系统方面的进步铺平了道路。
![arxiv：2403.05246v2 [eess.iv] 2024年3月11日](/simg/a\ad165b6a13abf37d21eab57efce88a670bdff83c.webp)
arxiv：2403.05246v2 [eess.iv] 2024年3月11日
摘要。unet及其变体已被广泛用于医学图像分割。但是，这些模型，尤其是基于变压器体系结构的模型，由于其大量参数和计算负载而构成挑战，因此它们不适合进行医疗保健应用。最近，由Mamba出现的国家空间模型（SSM）已成为CNN和Transformer Architectures的竞争替代品。在此基础上，我们将Mamba用作UNET内CNN和Transformer的轻巧替代品，目的是应对实际医疗环境中计算资源限制所带来的挑战。为此，我们介绍了将Mamba和UNET集成在轻量级框架中的轻量级Mamba UNET（Lightm-Unet）。具体来说，Lightm-Unet以纯Mamba的方式利用残留的视觉Mamba层来提取深层的语义特征和模型的长距离空间依赖性，并具有线性的组合复杂性。在两个现实世界2D/3D数据集上进行的广泛实验表明，Lightm-Unet超过了现有的状态文献。值得注意的是，与著名的NNU-NET相比，Lightm-Unet可实现卓越的分割性能，而Drasti则可以重新将参数和计算成本降低116X和21X。这突出了Mamba在促进模型轻量化方面的潜力。我们的代码实现可在https：//github.com/mrblankness/lightm-unet