XiaoMi-AI文件搜索系统
World File Search Systemmultimodal
端到端多模态深度学习，用于实时解码来自 1 相同细胞 2 3 Yichun He 1,2 , Arnau Marin-Llobe
端到端多模态深度学习用于实时解码来自同一细胞的长达数月的神经活动 1 2 3 何逸春 1,2 、Arnau Marin-Llobet 1,2 、盛浩 1 、刘韧 1 、刘佳 1* 4 5 1 美国马萨诸塞州波士顿哈佛大学约翰·A·保尔森工程与应用科学学院。 6 2 这些作者贡献相同。 7 * 通信电子邮件：jia_liu@seas.harvard.edu。 8 9 摘要 10 长期、稳定、实时解码来自同一细胞的行为相关神经动态对于脑机接口 (BCI) 以及理解学习、记忆和疾病进展过程中的神经进化至关重要。 11 柔性和高密度电极的最新进展实现了长期追踪所需的稳定性，但产生的大量数据集对现有分析方法提出了挑战。当前的脉冲分类方法严重依赖于人工管理，缺乏大规模实时处理的可扩展性。在这里，我们介绍了 AutoSort，这是一种基于端到端多模态深度神经网络的方法，可以实现数月内对相同神经元的实时跟踪和解码。AutoSort 使用一种可扩展的策略，通过从初始记录中学习深度表示并实时应用训练后的模型。它集成了多模态特征，包括波形特征、分布模式和推断出的神经元空间位置，以确保稳健性和准确性。AutoSort 在模拟和长期记录中的表现都优于现有方法，与传统方法相比，它仅使用 10% 的时间和 25% 的内存，从而减少了计算需求。通过将 AutoSort 与高密度柔性探针相结合，我们在 2 个月内实时跟踪运动学习和技能习得过程中的神经动态，捕捉内在神经流形漂移、稳定性和学习后表征漂移。AutoSort 为研究长期神经内在动态和实现实时 BCI 解码提供了一种有前途的解决方案。
自主系统中强大的多模式感知
摘要自主系统越来越多地部署在各种领域，包括运输，机器人技术和工业自动化。但是，他们准确感知和理解其环境的能力仍然是一个重大挑战，尤其是在依靠视觉或声音等单一模态时。本评论论文全面研究了多模式感知系统，强调了视觉，听觉和触觉数据的整合，以增强环境理解和状态估计。本文追踪了多模式感知的演变，回顾了关键的方式和数据融合技术，并确定了这些系统所面临的当前挑战，例如环境不确定性，传感器限制和计算复杂性。此外，它提出了增强策略，包括采用高级传感器技术，改进的数据融合方法和自适应学习系统。本文通过探索未来的方向，强调新兴趋势并确定必须解决的研究差距
非侵入性多模式CT深度学习生物标志物预测新辅助免疫化学治疗后非小细胞肺癌的病理完全反应：一项多中心研究
抽象目标尽管新辅助免疫化学疗法已被广泛应用于非小细胞肺癌（NSCLC），但预测治疗反应仍然是一个挑战。我们使用预处理多模式CT来探索基于深度学习的免疫化学疗法反应图像生物标志物。方法这项研究回顾性地获得了非对比度增强和对比度增强的NSCLC患者的CT扫描，他们在2019年8月至2023年2月之间在多个中心接受了新辅助免疫化学疗法后接受了手术。深度学习特征是从非对比度增强和对比度增强的CT扫描中提取的，分别构建了预测模型（Lunai-uct Model和Lunai-Ect模型）。在这两种特征的特征融合后，构建了融合模型（Lunai-FCT模型）。使用接收器操作特征曲线（AUC），准确性，灵敏度，特异性，正预测值和负预测值下的区域评估模型的性能。Shapley添加说明分析用于量化CT成像特征对模型预测的影响。为了了解我们的模型如何做出预测，我们采用了梯度加权的类激活映射来产生显着热图。结果培训和验证数据集包括在8：2的中心A的113名患者，测试数据集包括112名患者（中心B n = 73，中心C n = 20，中心D n = 19）。在测试数据集，Lunai-uct，Lunai-ect和Lunai-FCT模型中的AUCS为0.762（95％CI 0.654至0.791），0.797（95％CI 0.724至0.844），和0.866（95％CI 0.866）（95％CI 0.821至0.821至0.821至0.8883）。结论通过从增强对比和非对比度增强的CT中提取深度学习特征，我们构建了Lunai-FCT模型作为成像生物标志物，该标志物可以非侵入性地预测NSCLC新辅助免疫化学治疗中的病理完全反应。
基于脑多模式监测的重大抑郁症的影响和神经机制的影响和神经机制：叙事评论
主要抑郁症（MDD）目前是世界上最常见的精神疾病。它的特征是疾病的高发病率，情绪低落，思维减慢和认知功能降低。不及时干预，转化为抗药性抑郁症（TRD）的风险为20–30％，患者，家庭和社会的负担很大。许多研究表明，体育活动（PA）是一种非药理治疗方法，可以显着改善MDD患者的心理状况，并且对认知功能，睡眠状况和脑可塑性具有积极影响。然而，不同类型的PA对个体的生理和心理影响变化，PA在改善MDD患者症状方面的剂量尚未阐明。在当前的MDD研究中，PA可以归类为连续耐力训练（ECT），爆炸性间隔训练（EIT），耐药力强度训练（RST）和心理体体训练（MBT），以及对患者抑郁症状，认知功能和睡眠的影响。因此，本研究基于叙述性综述，并包括大量现有研究，以研究不同PA干预对MDD的影响的特征和差异。该研究还研究了MDD中不同PA干预措施的特征和差异，并通过多模式脑功能监测的结果（包括颅内环境和大脑结构）来解释神经机制。它旨在为MDD中的神经科学和临床干预提供锻炼处方和理论参考。
哺乳动物大脑发育和神经炎症的空间动力学通过多模式三媒体映射
能够在不同时间点上空间绘制多层的OMIC信息的能力2允许探索促进脑发育，分化，人体化和3次疾病改变的机制。本文中，我们开发并应用了空间tri-omic测序技术，4 dbit arp-seq（空间ATAC – RNA-蛋白质 - 蛋白质）和DBIT CTRP-SEQ（空间切割＆TAG-5 RNA – Protein-seq）以及多重免疫液（Codexial Imagiat in Dynamexial in Dynampatial in Dynamexial in Dynamecial in Dynamecial in Dynamecial in Dynampatial in Dynampatial in Dynampatial in Dynampatial in神经炎症。与人类发育中的大脑感兴趣的区域相比，在产后P0到P21的不同阶段获得了小鼠脑的时空三个骨图。具体来说，在皮质9区域中，我们发现了10层定义转录因子的染色质可及性的时间持久性和空间扩散。在call体中，我们观察到整个子区域髓磷脂基因的动态染色质启动11。一起，它提出了层特异性投影12个神经元的作用，以辅助轴突生成和髓鞘形成。我们进一步映射了溶血石13（LPC）神经炎症的大脑，并在14个发育和神经炎症中观察到了共同的分子程序。的小胶质细胞表现出炎症和分辨率的保守和不同程序15，不仅在LPC病变的核心上瞬时激活16，而且在远端位置也大概是通过神经元回路。19因此，这项工作揭示了大脑发育和神经炎症的17种常见和差异机制，从而获得了18个有价值的数据资源，以研究大脑发育，功能和疾病。
使用多模态优化进行脑磁共振图像 (MRI) 分割
摘要 医学界高度关注的领域之一是从脑磁共振成像 (MRI) 中分割肿瘤。早期诊断恶性肿瘤对于为患者提供治疗是必要的。如果及早发现，患者的预后将会改善。医学专家在诊断脑肿瘤时使用手动分割方法。本研究提出了一种简化和自动化该过程的新方法。在最近的研究中，多级分割已广泛应用于医学图像分析，分割方法的有效性和精度与使用的分割数量直接相关。然而，选择合适的分割数量通常由用户决定，并且对于许多分割算法来说都是具有挑战性的。所提出的方法是基于 3D 直方图的分割方法的修改版本，该方法可以自动确定合适的分割数量。一般算法包含三个主要步骤：第一步是使用高斯滤波器平滑图像的 3D RGB 直方图。这样可以消除过于接近的不可靠和非主导直方图峰值。接下来，多峰粒子群优化方法识别直方图的峰值。最后，根据非欧几里得距离将像素放置在最符合其特征的聚类中。所提出的算法已经应用于癌症成像档案 (TCIA) 和脑 MRI 图像的脑肿瘤检测数据集。将所提出方法的结果与三种聚类方法的结果进行了比较：FCM、FCM_FWCW 和 FCM_FW。在对各种 MRI 切片进行这三种算法的比较分析中。我们的算法始终表现出卓越的性能。它在这三个指标中都获得了最高平均排名，表明了其在聚类中的稳健性和有效性。所提出的方法在实验中是有效的，证明了它能够找到适当的聚类。
基于CNN和GRU
在这些指示的指导下的位置。但是，有效地融合视觉和语言方式之间的信息仍然是一个重大挑战。为了实现自然语言和视觉信息的深入整合，本研究引入了多模式融合神经网络模型，该模型将视觉信息（RGB图像和深度图）与语言信息（自然语言导航指令）结合在一起。首先，我们使用更快的R-CNN和RESNET50来提取图像特征和注意机制，以进一步提取有效的信息。其次，GRU模型用于提取语言功能。最后，另一个GRU模型用于融合视觉语言功能，然后保留历史信息以将下一个动作指令提供给机器人。实验结果表明，所提出的方法有效地解决了机器人真空吸尘器的本地化和决策挑战。关键字：机器人真空吸尘器；视觉语言导航；多模式融合； Resnet50; gru;
多模式的天然和化学语言基础模型
分子nger板，小分子设计的生成方法，11 - 13药理学特性的预测和药物重新利用。13,14药物的临床开发是一种时间和货币消费过程，通常需要数年和十亿美元的预算才能从1期临床试验到患者进行。16最新的神经网络方法和语言模型的使用有可能大大促进药物开发过程。使用多种模型家族提出了许多LMS的生物医学领域：例如，研究人员开发了Biobert，基于BERT，具有1.1亿个参数，并基于T5-Base和T5-Large，分别使用220和77000万个T5-Large，使用生物医学文献，使用了220和77000万个参数。nvidia还使用一组更广泛的PubMed衍生的自由文本在生物医学领域开发了生物长期模型，范围从3.45亿到12亿参数。但是，这些模型中使用的数据集主要涵盖生物医学自然语言文本，并包含生物医学命名的实体，例如药物，基因和细胞系名称，但忽略了以微笑格式的重要化学结构描述。用化学结构丰富生物医学数据集是一项重要且具有挑战性的任务。最近，提出了以最大的设置为1.120亿个参数，基于变压器档案的LMS，基于Transformer Arch-tecture，以及基于T5-碱基和T5-LARGE的MOLT5、20的LMS，以解决此限制。两种模式均通过自然语言和化学数据进行了预训练，创建
人类机器人协作中的流动 - 在工业场景中的多数分析和感知的挑战检测
流动或轻松的关注通常被描述为最佳体验的状态。它的特征是高水平的参与感，一种控制感和完全沉浸在活动中（Csikszentmihalyi，2000； Nakamura和Csikszentmihalyi，2002; Csikszentmihalhi，2020年）。当任务提出的挑战与个人的技能和能力相匹配时，这种状态就会出现。流与内在动机，享受和集中注意力有关，从而改善了表现和积极的体验。虽然Extensiveresearch（Nah等，2014; Stamatelopoulou et al。，2018; Dos Santos等，2018; Pearce，2005）在各个领域的流量概念上进行了进行，例如体育，教育和游戏，其在工业设置中的应用仍然相对未探索。此外，文献中有关流量经验的任务在精神上是苛刻的，这在工业任务中并不是典型的。考虑到流动在优化绩效和工作中的重要性（Csikszentmihalyi和Lefevre，1989; Csikszentmihalhi，2020），必须弥合这一研究鸿沟并探索工业环境中的流量经验（Fullagar等，2018; Beyrodt; Beyrodt; Beyrodt et et 2023;为了解决这一差距，我们在实验室工作单元中设计了一个集会任务，非常类似于工业环境。此任务涉及参与者与合作机器人（Cobot）之间的合作，以组装变速箱。这使我们能够在类似行业的人类机器人协作（HRC）任务中分析对不同挑战水平的情感和生理反应。通过调整柯伯特的生产率，我们创造了三个不同的挑战水平，这些挑战与流动研究（无聊，流动和焦虑）中的三个常见状态相对应。工业设置中的组装任务通常涉及重复和固定程序。结果，工人逐渐获得了必要的技能来熟练执行任务，从而导致其个人技能水平随着时间的流逝而差异很小。在这种情况下，影响流量经验的主要因素成为任务提出的挑战水平。工业任务的这一独特方面使我们特别研究了不同的感知挑战水平如何引起不同的反应。认识到，当感知到的挑战和技能之间存在平衡时，我们的目标是通过调整挑战水平来调整任务，以促进Cobot工人之间的流动。最近的研究（Lee，2020; Rissler等，2020; Di Lascio等，2021）探索了通过生理信号对工作时的自动检测。他们检测到流量的存在（流动与无流量）或分类流动强度（低与高）。但是，考虑到工业集会任务的具体特征，我们采取了不同的方法 - 检测到感知到的挑战水平。这种方法逻辑上符合我们调整任务挑战水平的目标。此外，处理任务的感知挑战通常比操纵流程体验本身更容易。通过我们的分析，我们已经培训了这部分是因为在挑战和技能之间达到平衡是必需的，但它本身并不足够。总而言之，我们的贡献涉及调查面部情绪估计（价和唤醒）和心率变异性，作为在工业组装任务背景下感知到的挑战水平的指标。