本研究提出了一种新的神经自适应技术概念,即双被动-反应脑机接口 (BCI),可实现人与机器之间的双向交互。我们在逼真的飞行模拟器中实现了这样一个系统,使用 NextMind 分类算法和框架来解码飞行员的意图(反应性 BCI)并推断他们的注意力水平(被动 BCI)。12 名飞行员使用反应性 BCI 执行检查单以及由被动 BCI 监督的防撞雷达监控任务。当后者检测到飞行员没有遇到即将到来的碰撞时,它会模拟自动避让动作。当仅执行检查单任务时,反应性 BCI 的分类准确率达到 100%,平均反应时间为 1.6 秒。当飞行员还必须驾驶飞机并监控防撞雷达时,准确率高达 98.5%,平均反应时间为 2.5 秒。被动 BCI 的 F 1 − 得分为 0.94。首次演示展示了双 BCI 改善人机协作的潜力,可应用于各种应用。
保持平衡是一项非常重要的技能,支持许多日常生活活动。认知运动干扰 (CMI) 双任务范式已经建立,用于识别复杂的自然运动任务(如跑步和骑自行车)的认知负荷。在这里,我们使用无线、智能手机记录的脑电图 (EEG) 和运动传感器,参与者要么站在坚实的地面上,要么站在走扁带上,要么执行听觉异常任务(双任务条件),要么同时不执行任何任务(单任务条件)。与站在地面上相比,我们预计复杂平衡的 P3 事件相关电位 (ERP) 成分对目标声音的幅度会降低,延迟会延长,与单任务平衡条件相比,双任务的幅度会进一步降低。此外,我们预计在执行并发听觉注意任务时,走扁带时的姿势会更大。二十名年轻、经验丰富的走扁带者执行了听觉异常任务,默数一系列经常出现的标准音调中出现的罕见目标音调。结果显示,在两种运动条件下,P3 拓扑和形态相似。与我们的预测相反,我们既没有观察到 P3 振幅显著降低,也没有观察到在走扁带期间延迟显著增加。出乎意料的是,我们发现与双任务相比,在没有额外任务的情况下,走扁带时的姿势摇摆更大。此外,我们发现参与者的技能水平与 P3 延迟之间存在显著相关性,但技能水平与 P3 振幅或姿势摇摆之间没有相关性。这种结果模式表明,对于技能较低的个体,干扰效应存在,而技能水平较高的个体可能表现出促进效应。我们的研究增加了一个不断发展的研究领域,表明在不受控制的日常生活情况下获得的 ERP 可以提供有意义的结果。我们认为,个人 CMI 对 P3 ERP 的影响反映了平衡任务对未经训练的个体的难度,这会利用原本可用于听觉注意力处理的有限资源。在未来的工作中,对同时记录的运动传感器信号的分析将有助于确定在自然、不受控制的环境中执行运动任务的认知需求。
生成的AI:OpenAI的GPT-4和Google Bard之类的模型已彻底改变了内容的生成,实现了类似人类的文本,图像和代码创建。跨越教育,医疗保健和创意产业的应用。多模式AI:Meta的Llama和Openai的Dall·E 3结合了文本,图像和视频处理,使AI系统能够理解和生成多种格式的输出。AI在药物发现中:基于AI的平台,例如DeepMind的Alphafold,已经预测了科学已知的几乎每种蛋白质的结构(截至2023年),加速了医学研究和药物开发。代码的生成AI:Github的Copilot X(2023)和OpenAI的Codex Automate Automate软件开发等工具,从而提高了开发人员的生产率和编码效率。语音中的生成AI:Elevenlabs和Vall-E(Microsoft,2023)启用高质量的语音综合,革新虚拟助手,有声读物和客户服务中的应用程序。自治代理:AI模型(如Autogpt和Babyagi)在没有人类干预的情况下执行多步自主任务,从而超越了单任务重点的AI能力。
本研究提出了一种新的神经自适应技术概念,即双被动-反应脑机接口 (BCI),可实现人与机器之间的双向交互。我们在逼真的飞行模拟器中实现了这样一个系统,使用 NextMind 分类算法和框架来解码飞行员的意图(反应性 BCI)并推断他们的注意力水平(被动 BCI)。12 名飞行员使用反应性 BCI 执行检查单以及由被动 BCI 监督的防撞雷达监控任务。当后者检测到飞行员没有遇到即将到来的碰撞时,它会模拟自动避让动作。当仅执行检查单任务时,反应性 BCI 的分类准确率达到 100%,平均反应时间为 1.6 秒。当飞行员还必须驾驶飞机并监控防撞雷达时,准确率高达 98.5%,平均反应时间为 2.5 秒。被动 BCI 的 F 1 − 得分为 0.94。首次演示展示了双 BCI 改善人机协作的潜力,可应用于各种应用。
摘要 - 触觉传感在人类的感知和操纵任务中起关键作用,使我们能够直观地理解任务动态并实时适应我们的行动。将这种触觉智能传输到机器人系统将有助于智能代理理解任务约束,并准确地解释他们正在与之交互的对象和自己的操作的动态。尽管由于触觉传感器形式的多样性,操纵任务和学习目标的多样性,虽然将机器人带入这种触觉智能方面已经取得了重大进展,但仍在有效地利用触觉信息。为了应对这一挑战,我们提出了一个统一的触觉嵌入空间,能够预测多种以任务为中心的质量。我们从各种任务中的人类演示中收集触觉数据,并利用此数据来构建一个共享的潜在空间,以进行任务阶段分类,对象动态估计和触觉动态预测。通过实验和消融研究,我们证明了我们共享的触觉潜在空间的有效性,以实现更准确和适应能力的触觉网络,显示出在单任务训练中的提高高达84%。
“自动化”一词源于古希腊语“auto”,意为自行运作。从逻辑上讲,“建筑自动化”意味着建筑无需人工干预即可自行完成。为了更广泛地描述它,Castro-Lacouture [1] 将其定义为“一种技术驱动的简化施工流程的方法,旨在提高安全性、生产率、可施工性、进度或控制,同时为项目利益相关方提供快速准确的决策工具。”20 世纪初,随着大规模生产系统 [2] 的出现,其他大型制造业(汽车、航空航天、造船等)的自动化技术开始转向建筑行业。起初,建筑元素被简化为预制部件并在施工现场组装。尽管如此,在这种方法中,自动化水平仍然局限于“场外”制造。组装过程主要由人工完成。现场施工自动化最早出现于 20 世纪 70 年代的日本,由被称为“五大”的大型建筑公司(清水建设、大成建设、鹿岛建设、大林组和竹中建设)投资使用机器人技术。现场施工自动化的发展主要源于人口老龄化,其次是因为年轻一代认为建筑工作困难、肮脏且危险 [3],对施工工作没有吸引力。出于这些原因,人们提出了两种主要方法。首先,开发了“单任务施工机器人”,通过执行诸如油漆、抹灰和铺陶瓷砖等非常具体的任务来取代施工现场的工人。其次,通过“施工自动化系统”进一步改进机器人系统,该系统旨在通过协调由单任务施工机器人支持的各种子系统实现全面自动化。这两个概念的主要重点是预制建筑部件的现场自动组装。尽管如此,整个机器人过程仍然是通常复杂的人类工作链的复制,而且对预制部件的依赖也带来了自身的缺点,例如需要为标准化(单调)元素建立专门的场外生产网络 [4]。在这一点上,增材制造 (AM) 方法有一些互补的方面和支持建筑自动化的潜力,因为它可以让机器人直接从原材料中高效地生产定制的建筑部件 [5]。AM 技术最初出现在 20 世纪 80 年代 [6]。Charles Hull [7] 开发了第一台 AM 机器,称为立体光刻,以替代注塑成型技术(一种成型制造方法),他使用后者来制造金属零件。这种成型技术成本高昂,耗时长,因为需要为每个不同的部件制作一个新模具 [8] 。他的新系统依靠紫外线敏感流体的自动凝固,通过以下方式形成 3D 物体
摘要 - 越来越多地使用深入强化学习(DRL)框架来解决机器人技术中的高维连续控制任务。然而,由于缺乏样本效率,在机器人域中将DRL应用于在线学习实际上仍然是不可行的。一个原因是,DRL代理不利用以前任务的解决方案。基于后继功能(SFS)的多任务DRL代理的最新工作已被证明在提高样本效率方面非常有前途。在这项工作中,我们提出了一种新的方法,该方法统一了两个先前的多任务RL框架,SF-GPI和价值组成,并将它们适应连续的控制域。我们利用后继功能的组成属性来构成一组原始人的策略分布,而无需培训任何新的政策。最后,为了证明多任务机制,我们基于Isaacgym提出了概念验证的基准环境,尖端和指针,这有助于大规模平行化以加速实验。我们的实验结果表明,我们的多任务代理具有与软演员 - 批评者(SAC)相同的单任务性能,并且代理可以成功地转移到新的看不见的任务中。我们在https://github.com/robot-poception-group/ concurrent_composition提供的代码作为开放源代码。
摘要 — 步态特征下降在老年人中很常见,是残疾、发病和死亡风险增加的指标。在双任务步行 (DTW) 条件下,老年人的步态和次要认知任务的表现进一步下降,这与跌倒史显着相关。最近有研究通过功能性近红外光谱 (fNIRS) 测量老年人 DTW 期间的步态皮质控制,特别是前额皮质 (PFC)。然而,在单任务和双任务步态条件下认知激活差异的自动分类尚未得到广泛研究。在本文中,我们将其制定为分类任务,并利用深度学习对 STW、DTW 和单认知任务 (STA) 进行自动分类。我们对数据样本进行分析,揭示 HbO2 和 Hb 值之间差异的特征,随后将其用作附加特征。我们执行特征工程,将 fNIRS 特征公式化为 3 通道图像,并应用各种图像处理技术进行数据增强,以提高深度学习模型的性能。实验结果表明,使用收集的 fNIRS 数据集以及性别和认知状态信息进行微调的预训练深度学习模型可以实现约 81% 的分类准确率,比传统机器学习算法高出约 10%。我们进一步进行了消融研究,以确定 fNIRS 级别和/或体素位置等特征对分类任务贡献的排名。
摘要 — 最近的研究表明,记忆电容设备网络为储存器计算系统提供了低功耗的理想计算平台。随机、交叉或小世界幂律 (SWPL) 结构是储存器基底计算单个任务的常见拓扑结构。然而,神经学研究表明,与不同功能相关的皮层大脑区域互连形成富俱乐部结构。这种结构允许人类大脑同时执行多项活动。到目前为止,记忆电容储存器只能执行单一任务。在这里,我们首次提出了集群网络作为记忆电容储存器同时执行多项任务。我们的结果表明,在三个任务上,集群网络分别比交叉和 SWPL 网络高出 4.1 × 、5.2 × 和 1.7 × 倍:孤立口语数字、MNIST 和 CIFAR-10。与我们之前和已发表结果中的单任务网络相比,多任务集群网络可以实现类似的准确率,分别为 MNIST、孤立口语数字和 CIFAR-10 的 86%、94.4% 和 27.9%。我们的扩展模拟表明,输入信号幅度和集群间连接都会影响集群网络的准确性。选择信号幅度和集群间链接的最佳值是获得高分类准确率和低功耗的关键。我们的结果说明了记忆电容式大脑启发集群网络的前景及其同时解决多项任务的能力。这种新颖的计算架构有可能使边缘应用程序更高效,并允许无法重新配置的系统解决多项任务。
我们提出了 MatSci-NLP,一种自然语言基准,用于评估自然语言处理 (NLP) 模型在材料科学文本上的性能。我们根据公开的材料科学文本数据构建基准,涵盖七种不同的 NLP 任务,包括命名实体识别和关系分类等传统 NLP 任务,以及特定于材料科学的 NLP 任务,例如与创建材料合成程序有关的合成动作检索。我们研究了在 MatSci-NLP 上对不同科学文本语料库进行预训练的各种基于 BERT 的模型,以了解预训练策略对理解材料科学文本的影响。鉴于材料科学领域高质量注释数据的稀缺,我们使用有限的训练数据进行微调实验,以鼓励在 MatSci-NLP 任务中进行泛化。我们在这种低资源训练环境中进行的实验表明,在科学文本上预训练的语言模型优于在一般文本上训练的 BERT。 Mat-BERT 是一种专门针对材料科学期刊进行预训练的模型,通常在大多数任务中表现最佳。此外,我们提出了一种统一的文本到模式的 MatSci-NLP 多任务学习方法,并将其性能与传统的微调方法进行了比较。在对不同训练方法的分析中,我们发现我们提出的受问答启发的文本到模式方法始终优于单任务和多任务 NLP 微调方法。代码和数据集是公开可用的 1 。