XiaoMi-AI文件搜索系统
World File Search SystemSSMS
视觉mamba：双向状态空间模型的有效视觉表示学习
最近，具有效率的硬件感知设计的状态空间模型（SSM），即Mamba深度学习模型，已显示出长序列建模的巨大计算。同时，纯粹在SSM上建立有效和通用的视力骨干是一个吸引人的方向。，由于视觉数据的位置敏感性以及全球上下文对视觉理解的要求，代表视觉数据对SSM的挑战。在本文中，我们表明，对自我注意力的依赖无需进行视觉代表学习，并提出了带有双向Mamba块（VIM）的新的通用视觉主链，该主块（VIM）标记了带有位置嵌入的图像序列，并用Bidirectiact态态空间模型将视觉表示。Imagenet分类，可可对象检测和ADE20K
主动重新配置的分段空间声音调制器
高质量的声音 - 全外模式和图像，与3D显示器，声学和中间触觉等应用不可或缺的一部分需要精确的超声波分布以实现。此任务的基本工具是空间声音调节器（SSM），它控制组成元素以实现声音压力的动态分布。但是，由于高成本和许多小，紧密的单位，当前的超声SSM面临局限性。这项研究介绍了“分割的SSM”，即新型设备，这些设备将传统的声学跨表面像素单元组合到定制形状的分段元件中。这些分段的SSM降低了驱动成本和复杂性，同时保持压力分配质量。此方法包括一种自定义的相凝集算法（PAA），该算法是为用户选择的潜在分割解决方案的层次结构。使用OB-3D打印机和定制控制电子设备详细介绍了SSM制造方法，从概念到实现，完成了端到端方法。使用两个原型SSM设备验证了这种方法，它们使用动态分段元件将声波聚焦并悬浮聚苯乙烯珠。通过具有静态和动态元素的混合SSM设备探索了对技术的进一步增强。管道促进了各种应用程序跨不同应用的有效SSM构建，并邀请了以不同尺寸，用途和驱动机制的未来设备的成立。
托儿和早期服务系统计划-2024-2028
伦敦市和米德尔塞克斯县在事工指导下管理CWELCC系统。修订后的许可程序，自2023年1月1日起，为执照申请人提供有关其CWELCC资金资格的建议SSM，包括与服务系统计划中概述的指示增长策略保持一致。此策略旨在支持最关键的需求的访问和包容和指导战略扩展。SSMS建议在此阶段基于当前信息，并且不能保证CWELCC资助后许可；请参阅O. Reg。137/15，s。 13（1）有关详细信息。
SSM满足视频扩散模型
鉴于通过扩散模型在图像生成中取得的显着成就，研究界表明，对将这些模型扩展到视频生成的兴趣越来越大。视频生成的最新扩散模型主要利用注意层提取时间特征。但是，注意层受其记忆消耗的限制，这随序列的长度四倍增加。在尝试使用扩散模型生成更长的视频序列时，这一限制提出了重大挑战。为了克服这一挑战，我们提出了利用状态空间模型（SSM）。SSM最近由于其线性记忆消耗相对于序列长度而成为可行的替代方案。在实验中，我们首先使用UCF101（视频生成的标准基准）评估了基于SSM的模型。此外，为了调查SSM对更长的视频生成的潜力，我们使用Minerl导航数据集执行了一个实验，将帧数变化为64、200和400。在这些设置中，我们的基于SSM的模型可以为更长的序列节省内存消耗，同时将竞争性的FVD分数保持在基于注意力的模型中。
黑斯廷斯县2023指导增长计划
为了支持这些新空间的实施，教育部（部）开发了访问和包容框架。该框架的目的是支持服务系统经理（SSM）更新本地服务系统计划，以越来越多地关注与包容性有关的访问。访问和包含框架要求SSM识别其区域内的八个优先级社区。确定优先社区SSM的社区，这些社区的社区社区拥有弱势群体，包括低收入，法语，土著，黑人，其他种族化和新人社区以及有特殊需要的孩子。这将允许针对最需要它们的社区的有针对性的空间创造。安大略省对CWELCC系统的愿景是，无论他们居住在哪里，安大略省的更多家庭都可以使用高质量，负担得起，灵活和包容性的早期学习和育儿。
模型还原为分段平滑动力学系统中的光谱子手机
越来越多的需求减少复杂的高维二词系统为简单，低维模型产生了许多不同的还原技术（参见Benner等人。[1]，Rowley和Dawson [2]，Ghadami和Epureanu [3]，Brunton等。[4]，Taira等。[5]和Touzé等。[6]用于最近的评论）。在这里，我们专注于这些方法之一的扩展，频谱亚算物（SSM）还原到分段光滑的机械系统。最初针对Haller和Ponsioen [7]的平滑动力系统定义，主要SSM是最平稳的不变流形，与稳定状态下线性化系统的光谱子空间相切，并且具有相同的尺寸。因此，SSM数学上正式化并扩展了Shaw和Pierre [8，9]和Shaw等人在开创性工作中引入的非线性正常模式（NNM）的最初思想。[10]（有关最近的评论，请参见Mikhlin和Avramov [11]）。每当光谱子空间内的线性频谱与该子空间之外的线性频谱之间，SSM在自主和非自治系统中的存在，唯一性和持久性已得到证明（Haller and Ponsioen [7][12]以及Haro和de la llave [13]）。由最慢的线性模式跨越光谱子空间的主要SSM切线吸引了附近的所有轨迹，因此其内部动力学是一种理想的，数学上合理的非线性降低模型。最近的工作揭示了在𝐶∞
![arxiv：2405.16674v3 [cs.lg] 2025年3月1日](/simg/g:\will\search\icon\source\d\d85c999e8c53c7731a2b3ec4d2b00cf30d0b1dc1.webp)
arxiv：2405.16674v3 [cs.lg] 2025年3月1日
尽管取得了成功，但深度学习模型与需要综合推理和功能组成的任务斗争。我们对此类任务中结构化状态空间模型（SSM）和变压器的局限性进行了理论和实证研究。我们证明，如果没有不切实际的状态尺寸，即使在链链的提示中，一层SSM无法有效地在大域上表现函数组成，它们也需要许多步骤，以使功能组成的复杂性不利地扩展。另外，有限精确的SSM的语言在普通语言类别中。我们的实验证实了这些理论发现。评估模型，包括各种功能组成设置，多位数乘法，动态编程和爱因斯坦的难题，即使使用高级提示技术，我们也会发现大量的性能下降。模型通常诉诸捷径，导致复合错误。这些发现突出了植根于其计算能力的当前深度学习体系结构内的基本障碍。我们强调了创新解决方案的需求，以超越这些联系并实现可靠的多步推理和组成任务解决，这对于迈向通用人工智能至关重要。
sc-mamba2：利用
单细胞转录组学彻底改变了我们对细胞异质性的理解，但建模了超长的转录组序列（即基因的数量）仍然是一个重大的计算挑战。在这项研究中，我们基于最新的MAMBA2档案介绍了SC-MAMBA2，这是该体系结构与状态空间模型（SSMS）的首次应用，用于单细胞转录组建模。与传统的基于变压器的语言模型不同，SC-MAMBA2利用SSM的效率和可扩展性，使得通过减少的计算开销来处理更长的转录组序列。我们引入了专门针对转录组序列量身定制的独特设计适应，并在SSM框架下实现了双向建模方法，从而促进了整个基因组转录组序列的全面分析。SC-MAMBA2是单细胞转录组学结构域中最大的模型，具有超过1.5亿个参数，能够处理涵盖60,000多个基因的转录组序列。该模型在5700万个单元的数据集上进行了训练，这使其成为处理迄今为止超长序列的最全面解决方案。通过在各种下游任务中进行广泛的基准测试，SC-MAMBA2始终胜过最先进的模型，证明了卓越的准确性和计算效率。我们的结果强调了SC-MAMBA2的有效性和高级功能，将其定位为未来单细胞转录组研究的关键工具。
![arxiv：2408.14909v2 [CS.CL] 2024年12月24日](/simg/g:\will\search\icon\source\c\cb17634eb62dfb255310cdc41075dc0f28bbcc56.webp)
arxiv：2408.14909v2 [CS.CL] 2024年12月24日
被称为低能消耗网络，尖峰的神经网络（SNN）在过去几十年中引起了很多关注。尽管SNN与人工神经网络（ANN）的竞争增加了视力任务，但尽管它们具有内在的时间动力学，但它们很少用于长序列任务。在这项工作中，我们通过利用状态空间模型（SSM）的序列学习能力来开发长序列学习的尖峰状态空间模型（SPIKINGSM）。受树突状神经元结构的启发，我们将神经元动力学与原始SSM块整合在一起，同时实现了稀疏的突触计算。此外，为了解决事件驱动的神经动力学的冲突，我们提出了一个轻巧的替代动态网络，该网络可以准确地预测余后膜的潜力，并且可以兼容以学习能力的阈值，从而在训练速度上与传统的术语相比，在训练速度中具有加速速度。在远程竞技场基准任务中，SpikingsSM在最先进的SSMS上取得了胜利的性能，同时平均重新占据了90％的网络稀疏性。在语言建模上，我们的网络显着超过了Wikitext-103数据集上现有的大型语言模型（SpikingLlms），其中只有三分之一的模型大小，证明其作为低计算成本LLM的骨干架构的潜力。
在视觉状态空间模型中探索令牌修剪
状态空间模型（SSM）具有与变压器的注意模块相比保持线性计算复杂性的优势，并且已将视觉任务应用于视觉任务作为一种新型强大的视觉基础模型。受到观察的启发，即视觉变压器（VIT）的最终预测仅基于最有用的代币的子集，我们采取了新的步骤，即通过基于令牌的修剪来提高基于SSM的视力模型的效率。但是，即使经过广泛的微调，为VIT设计的现有代币修剪技术的直接应用也无法提供良好的性能。为了解决此问题，我们重新审视了SSM的独特计算特征，并发现Naive Application破坏了顺序令牌位置。这种洞察力促使我们设计了一种专门针对基于SSM的视力模型的新颖和通用的代币修剪方法。我们首先引入一种修剪感知的隐藏状态对准方法，以稳定剩余令牌以增强性能的邻里。此外，根据我们的详细分析，我们提出了一种适用于SSM模型的令牌重要性评估方法，以指导令牌修剪。采用有效的实施和实际加速方法，我们的方法带来了实际的加速。广泛的实验表明，我们的方法可以实现大量的计算减少，而对不同任务的性能的影响最小。值得注意的是，我们在成像网上获得了81.7％的精度，而修剪的plainmamba-l3的拖鞋降低了41.6％。此外，我们的工作为了解基于SSM的视力模型的行为提供了更深入的见解。