XiaoMi-AI文件搜索系统
World File Search SystemMamba
![arXiv:2409.09627v2 [cs.HC] 2024 年 9 月 19 日](/simg/c\c8e3f7a5d0004df336e46e4f53c7b5077e828ac6.webp)
arXiv:2409.09627v2 [cs.HC] 2024 年 9 月 19 日
摘要。运动想象 (MI) 分类是脑机接口 (BCI) 的关键。直到最近几年，已经提出了许多模型，从经典算法（如通用空间模式 (CSP)）到深度学习模型（如卷积神经网络 (CNN) 和 transformers）。然而，在有效提取脑电图 (EEG) 信号中固有的复杂时空信息方面，这些模型在通用性、语境性和可扩展性等方面表现出局限性。为了解决这些限制，我们引入了时空曼巴网络 (STMambaNet)，这是一种利用 Mamba 状态空间架构的创新模型，擅长处理具有线性可扩展性的扩展序列。通过结合空间和时间 Mamba 编码器，STMambaNet 可以有效捕捉空间和时间上的复杂动态，显著提高脑电图信号解码性能以进行 MI 分类。 BCI 竞赛 IV 2a 和 2b 数据集上的实验结果证明了 STMambaNet 优于现有模型，使其成为推进基于 MI 的 BCI 和改进现实世界 BCI 系统的有力工具。
心态：以AMAMBA为基础的方法……
这项工作探索了基础模型（特别是基于 Mamba 的选择性状态空间模型）在增强神经系统疾病诊断中 EEG 分析的潜力。EEG 对于诊断癫痫等疾病至关重要，由于其噪声大、高维和非线性的特性，它带来了巨大的挑战。传统的机器学习方法在自动化 EEG 分析方面取得了进展，但往往无法捕捉其复杂的时空动态。深度学习的最新进展，特别是序列建模，为创建能够处理这种复杂性的更通用、更具表现力的模型提供了新途径。通过自监督重建任务和随后的癫痫检测任务，在包含癫痫和非癫痫 EEG 记录的大型数据集上训练基于 Mamba 的模型，我们展示了该模型的潜力，在保留测试集上实现了 0.72 的 AUROC。这种方法标志着朝着开发用于 EEG 数据分析的大规模、临床适用的基础模型迈出了重要一步。
![arxiv：2402.05079v2 [eess.iv] 2024年3月30日](/simg/2\2cc87b240d96e4b59e1f32ad379715883beaa530.webp)
arxiv：2402.05079v2 [eess.iv] 2024年3月30日
摘要。在医学图像分析的最新进展中，综合神经网络（CNN）和视觉变压器（VIT）设定了重要的基准。虽然前者通过其卷积行动占领了当地的效果，但后者通过利用自我发场机制来实现非凡的全球环境理解。然而，两种体系结构在有效地对医学图像中的长期依赖性建模时都表现出局限性，这是精确分割的关键方面。受到Mamba体系结构的启发，该建筑的熟练程度熟练地处理长序列和以提高计算效率作为状态空间模型（SSM）的全球上下文信息，我们提出了Mamba-Unet，这是一种新颖的体系结构，这是一种具有MAMBA能力的医学图像序列中的U-NET。mamba-unet采用了基于跳过连接的纯净视觉曼巴（VMAMBA）基于编码器的结构，以在网络的不同尺度上保留空间信息。此设计促进了一个全面的特征学习过程，捕获了复杂的细节和医学图像中更广泛的疾病环境。我们在VMAMBA块中引入了一种新颖的集成机制，以确保编码器和解码器路径之间的无缝连通性和信息流，从而增强分割性能。我们对公开可用的ACDC MRI心脏分割数据集进行了实验，并进行了Synapse CT CT腹部分割数据集。结果表明，在同一超参数设置下，Mamba-Unet在医疗图像分割中的表现优于几种类型的UNET 1。源代码和基线信息可在https://github.com/ziyangwang007/mamba- unet上获得。
ClinicalMamba：纵向临床注释的生成临床语言模型
医疗保健中自然语言处理（NLP）系统的进步在语言模型的能力上解释临床注释中包含的信息信息。此过程通常需要在病史的病史中从各个时间点整合信息。但是，大多数较早的临床语言模型都经过了上下文长度的审议，仅限于大约一个临床文件。在这项研究中，我们介绍了ClinicalMamba，这是Mamba语言模型的专门版本，并在大量的纵向临床注释中预审到，以满足医疗Do-Main的独特语言特征和信息处理需求。具有130万个公元和28亿个参数的临床曼巴模型在对较长的文本长度上建模临床语言方面表现出卓越的性能，与MAMBA和其他基于Longformer和Llama的临床模型相比。经过少量学习，ClinicalMamba在速度和性能方面取得了显着的基准，在纵向临床任务中表现优于临床语言模型和诸如GPT-4（例如GPT-4）的大型语言模型。
MamMIL：使用状态空间模型对整个幻灯片图像进行多实例学习
摘要 — 近年来，病理诊断通过将深度学习模型与使用全切片图像 (WSI) 的多实例学习 (MIL) 框架相结合而取得了优异的表现。然而，WSI 的千兆像素特性对高效的 MIL 提出了巨大挑战。现有研究要么不考虑实例之间的全局依赖关系，要么使用线性注意等近似值来建模对对实例交互，这不可避免地带来了性能瓶颈。为了应对这一挑战，我们提出了一个名为 MamMIL 的框架用于 WSI 分析，通过将选择性结构化状态空间模型（即 Mamba）与 MIL 相结合，能够在保持线性复杂度的同时对全局实例依赖关系进行建模。具体而言，考虑到 WSI 中组织区域的不规则性，我们将每个 WSI 表示为一个无向图。为了解决 Mamba 只能处理一维序列的问题，我们进一步提出了一种拓扑感知扫描机制来序列化 WSI 图，同时保留实例之间的拓扑关系。最后，为了进一步感知实例之间的拓扑结构并结合短程特征交互，我们提出了一种基于图神经网络的实例聚合块。实验表明，MamMIL 可以实现比最先进的框架更先进的性能。代码可以在 https://github.com/Vison307/MamMIL 访问。索引术语 — 多实例学习、状态空间模型、整个幻灯片图像
日期/时间
实践中的比例代表：量化序中选举中的比例性Tuva Bardal，Markus Brill，David McCune，Jannik Peters，Jannik Peters 13058液体民主的成本观点：可行性和控制Shiri Alouf-Heffetz，Åukaszzko，Åukaszkozko，Åukegorzlisostki，georopios，georopiot993参与性预算Bailey Flanigan，Mark Bedaywi，Mohamad Latifian，Nisarg Shah，2月27日，星期四，2:30 pm-3：45pm计算机视觉1734通过基于Mamba的上下文感知到的标记学习Jinxia jinxia jinxia jinxia xie
睡眠剥夺引起的记忆障碍
本文（Yang等人）提出了Munet，这是一个新型的网络框架，结合了UNET和MAMBA在脑肿瘤分割方面的优势。一种特殊的基于SSM的结构，称为SD-SSM块和SD-CONV结构，通过捕获多尺度的全局和局部功能来增强细分性能，并在功能之间压缩冗余信息。此外，他们使用了结合MIOU，骰子和边界损失的新型损失函数，以优化分割的重叠和相似性。这些创新提高了脑肿瘤分割的准确性和效率。总的来说，这些论文中提出的贡献和工作涵盖了医学成像和机器学习的各个方面。论文1的重点是针对早期医学诊断的特征选择和分类。论文2提出了一个双重注意机制图卷积神经网络，用于基于脑电图的情绪产生。论文3介绍了
文本生成的量子选择性状态空间模型
摘要：量子机学习提供了新颖的范式来解决传统自然语言过程中的局限性，例如固定上下文长度和计算效率低下。在这项工作中，我们提出了Qmamba，这是Mamba体系结构的第一个量子适应，将选择性状态空间模型与量子计算集成在一起，以实现有效且可扩展的文本生成。Qmamba利用量子和纠缠等量子原理来实现无界的上下文大小，并减少了计算复合物。我们的贡献包括开发针对硬件结合的量子生成模型，编码，嵌入和测量技术方面的进步，以及其在模式复制和上下文挑战任务上的表现，例如“ Haystack中的针刺”。实验结果证实了Qmamba在不同序列长度上保持高效率和性能的潜力，为未来量子增强自然语言处理的探索奠定了基础。
基于化学的绿色供应链管理优化
大规模序列建模引发了快速的进步，现在扩展到生物学和学位。但是，建模基因组序列引入了挑战，例如需要建模远程令牌相互作用，基因组的上流区域和下游区域的影响以及DNA的反向互补性（RC）。在这里，我们提出了一个以这些挑战为动机的建筑，这些挑战在远程Mamba区域建立，并将其扩展到支持双向性的Bimamba component，并将其扩展到支持RC等值的Mambadna块。我们使用amambadna作为caduceus的ba sis，这是第一个rc equivianiant双向远程DNA语言模型的第一个家族，我们引入了预训练和精细的调整策略，产生了caduceus dna fun-foun-foun-foun-foun-foun-foun-foun-foun-foun-foun-foun-foun-dation模型。caduceus在下游基准测试上优于以前的远程模型；在具有挑战性的远程变体效果前字典任务上，caduceus超过了不利用双向方向性或均衡性的10倍较大模型的性能。代码重现我们的实验。