抽象3D空间感知是在未知环境中执行任务的自动移动机器人的关键技术之一。其中,为自动移动机器人建造全球拓扑图是一项艰巨的任务。在这项研究中,我们提出了一种基于竞争性学习的未知数据分布的拓扑结构的方法,这是一种无监督的学习。为此,将基于自适应理论的拓扑聚类(ATC)避免灾难性忘记以前测量的点云,被用作学习方法。此外,通过扩展具有不同拓扑(ATC-DT)的ATC,具有多个拓扑结构,用于提取地形环境的可遍历信息,可以实现一种路径计划方法,可以达到未知环境中设置的目标点。在未知环境中进行的路径规划实验表明,与其他方法相比,ATC-DT可以仅使用测量的3D点云和机器人位置信息来构建具有高精度和稳定性的全球拓扑图。
虽然消息传递图神经网络会导致信息丰富的节点嵌入,但它们可能无法描述图的拓扑特性。为此,节点滤波已被广泛用作使用持久图获得图的拓扑信息的一种尝试。然而,这些尝试面临着失去节点 - 床上用品信息的问题,这反过来又阻止了它们提供更具表现力的图表。为了解决这个问题,我们将重点转移到边缘效果上,并引入了一种新颖的基于边缘的持久性持续图,称为拓扑边缘图(TED),该图被数学证明可以保留节点嵌入信息以及包含其他拓扑信息。要实现TED,我们提出了一种基于神经网络的算法,名为“线图越vietoris-rips”(LGVR)持久图,该图通过将图形转换为其线图来提取边缘信息。通过LGVR,我们提供了两个模型框架,可以应用于任何传递GNN的消息,并证明它们比Weisfeiler-Lehman型着色更强大。最后,我们从经验上验证了模型在几种图形分类和回归基准上的出色性能。关键字:图形神经网络,持久图,拓扑数据分析,Weisfeiler-Lehman测试,越野透 - rips过滤
脑电图 (EEG) 使用放置在头皮上的传感器实时测量大脑电活动。必须识别并消除由于眼球运动和眨眼、肌肉/心脏活动和一般电干扰而产生的伪影,以便正确解释 EEG 的有用脑信号 (UBS)。独立分量分析 (ICA) 可有效地将信号分成独立分量 (IC),这些分量在 2D 头皮地形图 (图像)(也称为地形图)上的重新投影允许识别/分离伪影和 UBS。到目前为止,IC 地形图分析(EEG 的黄金标准)一直由人类专家以视觉方式进行,因此无法用于自动、快速响应的 EEG。我们提出了一个基于 2 D 卷积神经网络 (CNN) 的 IC 拓扑图脑电图伪影识别的完全自动化和有效框架,能够将拓扑图分为 4 类:3 种伪影类型和 UBS。描述了框架设置,并展示、讨论了结果,并将其与其他竞争策略的结果进行了比较。在公共脑电图数据集上进行的实验表明,总体准确率超过 98%,在标准 PC 上用 1.4 秒对 32 个拓扑图进行分类,即驱动一个由 32 个传感器组成的脑电图系统。虽然不是实时的,但提出的框架足够高效,可用于基于快速响应脑电图的脑机接口 (BCI),并且比其他基于 IC 的自动方法更快。
摘要 - 在视觉和语言导航(VLN)任务中,必须按照自然语言指令导航到目的地。虽然基于学习的方法一直是对任务的主要解决方案,但他们遭受了高培训成本和缺乏解释性的困扰。最近,由于其强大的概括能力,大型语言模型(LLMS)已成为VLN的有前途的工具。但是,现有的基于LLM的方法面临着记忆构建和导航策略多样性的限制。为了应对这些挑战,我们提出了一套技术。首先,我们引入了一种维护拓扑图的方法,该拓扑图存储导航历史记录,保留有关观点,对象及其空间关系的信息。此地图也充当全球动作空间。此外,我们提出了一个思想模块的导航链,利用人类导航示例丰富了导航策略多样性。最后,我们建立了一条管道,将导航记忆和策略与感知和动作预测模块集成在一起。Reverie和R2R数据集的实验结果表明,我们的方法有效地增强了LLM的导航能力并提高导航推理的解释性。
摘要:近年来脑电图研究的应用场景日趋广泛,相比于其他任务,利用脑电图识别受试者人格特质水平的差异在某种程度上具有更大的挑战性。本文提出了一项基于脑电信号和深度学习方法识别人们组织承诺水平的新任务。针对这一目标,我们基于脑电特征的拓扑图构建了一种图卷积神经网络结构(EEG-GCN),并将其与一维卷积神经网络(1D-CNN)、二维卷积神经网络(2D-CNN)、LSTM等其他深度学习模型框架进行了比较。同时,我们对脑电特征拓扑图邻接矩阵的构建进行了研究,最终发现成对相位一致性(PPC)与大地距离的组合是最佳选择,所构建的模型可以达到平均79.1%的准确率。此外,在扩大数据集规模后,我们的模型总体平均准确率可以达到81.9%,可见静息态脑电与深度学习方法相结合对组织承诺人格特质的识别是有效的。
图1:体现抹布方法概述。(a)记忆是通过将拓扑图的节点组织到语义森林中来构建的。(b)(a)中的内存可用于查询,并带有并行的树遍历。(c)具有文本输出的导航操作,或者可以为查询生成全局说明,并将检索结果用作LLM上下文。
摘要:导航研究中的一个难以捉摸的目标是建立一个智能代理,该智能代理可以理解包括自然语言和IM的多模式说明,并执行有用的导航。为了实现这一目标,我们研究了一个广泛有用的导航任务,我们称之为多模式指令导航,该导航带有恶魔之旅(MINT),其中通过预先录制的演示视频提供了先验的环境。视觉语言模型(VLM)的最新进展在实现这一目标方面表现出了有希望的途径,因为它展示了感知和推理多模式输入的能力。为了解决薄荷,我们提出了移动性VLA,这是一种层次视觉语言行动(VLA)导航政策,将环境理解和长篇小说VLM的常识推理能力结合在一起,以及基于拓扑图的强大的低级导航策略。高级策略由一个长篇小说VLM组成,该VLM将演示游览视频和多模式用户指令作为输入,以在旅行视频中找到目标框架。接下来,一个低级策略使用目标框架和构造的拓扑图来在每个时间步中生成机器人动作。我们在836M 2现实世界环境中评估了移动性VLA,并表明Mobility VLA在以前未解决的多模式指令中具有很高的端到端成功率,例如“我应该在哪里返回?”拿着一个塑料箱。可以在此处找到一个展示移动性VLA的视频:youtu.be/-tof Q8 5S
本研究比较了运动想象脑机接口(MI-BCI)联合物理治疗与单纯物理治疗在缺血性卒中康复训练前后的疗效,探讨MI-BCI的康复效果是否受患者病情严重程度影响,以及MI-BCI是否对所有患者都有效。40例住院缺血性卒中合并运动障碍患者参与了本研究,患者分为MI组和对照组,在康复训练前后进行功能评估。以Fugl-Meyer评分(FMA)为主要结局指标,其肩肘评分和腕关节评分为次要结局指标,采用运动评估量表(MAS)评估运动功能恢复情况。采用非造影CT(NCCT)探讨不同类型的大脑中动脉高密度征对缺血性卒中预后的影响。脑拓扑图能够直接反映大脑的神经活动,利用脑拓扑图来检测中风后脑功能的变化和脑拓扑功率响应。与康复训练后的 MI 组和对照组相比,MI-BCI 康复后功能结果更好,包括总 FMA 评分(MI = 16.70 ± 12.79,对照组 = 5.34 ± 10.48)、FMA 肩肘评分(MI = 12.56 ± 6.37,对照组 = 2.45 ± 7.91)、FMA 腕评分(MI = 11.01 ± 3.48,对照组 = 3.36 ± 5.79)、MAS 评分(MI = 3.62 ± 2.48,对照组 = 1.85 ± 2.89)、NCCT(MI = 21.94 ± 2.37,对照组 = 17.86 ± 3.55)实现相关增加的可能性显著更高。研究结果表明MI-BCI康复训练比常规康复训练更能有效改善脑卒中后上肢运动功能障碍患者运动功能,验证了主动诱导神经康复的可行性。患者病情的严重程度可能会影响MI-BCI系统的康复效果。
音乐意象是在没有外部听觉输入的情况下对音乐进行的内部再创造。虽然许多研究已经调查了音乐聆听和意象的神经相关性,但很少有研究探讨后者过程中声学特征的编码。在本研究中,我们采用多元时间响应函数 (mTRF) 来检查在音乐聆听和意象过程中,音符起始、包络和包络起始等旋律特征如何编码在脑磁图 (MEG) 反应中。我们的分析表明,音符起始和包络起始在聆听和意象条件下都能显著预测 MEG 反应。值得注意的是,这些声学特征和神经活动之间的相关性在群体和个体层面都很明显。此外,预测相关拓扑图显示在聆听和意象任务期间位于颞叶上方的通道中的相关值会增加。
分子表示学习(MRL)长期以来在药物发现和材料科学领域至关重要,并且由于自然语言处理(NLP)和图形神经网络(GNN)的发展,它取得了重大进展。nlp将分子视为一维顺序令牌,而GNN则将它们视为二维拓扑图。基于通过不同的消息传递算法,GNN在检测化学环境和预测分子特性方面具有各种性能。在此,我们提出了定向的图形注意力网络(D-GAT):具有定向键的表达性GNN。我们策略成功的关键是按照指示图处理分子图,并通过缩放的点 - 产物注意机制来更新键状态和原子状态。这使模型可以更好地捕获分子图的子结构,即官能团。与其他GNN或消息传递神经网络(MPNN)相比,D-Gats的表现优于15个重要分子属性预测基准中的13个。