抽象的人工神经网络(ANN)是用于建模和解码神经活动的最先进工具,但是将它们部署在具有严格的正时限制的闭环实验中,因为它们在现有的实时框架中的支持有限,因此具有挑战性。研究人员需要一个平台,该平台完全支持高级语言的运行ANN(例如Python和Julia),同时维持对低延迟数据获取和处理至关重要的语言的支持(例如C和C ++)。为了满足这些需求,我们介绍了实时异步神经解码(品牌)的后端。品牌包括Linux过程,称为节点,它们通过数据流在图中相互通信。其异步设计允许在可能在不同时间范围内运行的数据流并行执行,并可以在不同的时间范围内并行执行分析。品牌使用REDIS在节点之间发送数据,该节点可以实现快速的过程间通信并支持54种不同的编程语言。因此,开发人员可以轻松地将现有的ANN模型部署在品牌中,并具有最小的实施变化。在我们的测试中,在发送大量数据时,品牌在过程之间达到了<600微秒的潜伏期(在1毫秒块中的1024个频道30 kHz神经数据)。品牌运行一个带有复发性神经网络(RNN)解码器的大脑计算机界面,从神经数据输入到解码器预测,延迟的延迟少于8毫秒。该系统还支持使用动态系统(例如潜在因子分析)进行复杂的潜在变量模型的实时推断。在系统的真实展示中,Braingate2临床试验中的参与者T11执行了标准的光标控制任务,其中30 kHz信号处理,RNN解码,任务控制和图形均在品牌中执行。通过提供一个快速,模块化和语言敏捷的框架,品牌降低了将神经科学和机器学习中最新工具集成到闭环实验中的障碍。
扩散模型在增强学习(RL)方面具有广泛的关注(RL),以表现出强大的表现力和多模式。已经证实,利用扩散策略可以通过克服非峰政策(例如高斯政策)的局限性来显着改善RL算法在连续控制任务中的性能。此外,扩散策略的多模式性还表明了为代理提供增强的勘探能力的潜力。但是,现有的作品主要集中于在离线RL中应用扩散政策,而将其纳入在线RL中的研究较少。由于“良好”样本(动作)不可用,因此无法直接应用于在线RL中的扩散模型的训练目标,称为变异下限。为了将扩散模型与在线RL协调,我们提出了一种基于无模型扩散的新型在线RL算法,称为Q-PRIATION策略优化(QVPO)。具体来说,我们在实践中介绍了Q加权变分损失及其近似实施。值得注意的是,这种损失被证明是政策目标的紧密下限。为了进一步增强扩散策略的勘探能力,我们设计了一个特殊的熵正规化项。与高斯政策不同,扩散政策中的对数可能是无法访问的。因此,此熵项是不平凡的。此外,为了减少扩散政策的巨大差异,我们还通过行动选择制定了有效的行为政策。这可以进一步提高在线交互期间的样本效率。因此,QVPO算法利用了扩散策略的探索能力和多模式,从而阻止了RL代理融合到亚最佳策略。为了验证QVPO的有效性,我们对Mujoco连续控制基准进行了综合实验。最终结果表明,QVPO在累积奖励和样本效率方面都可以达到最先进的表现。我们的官方实施在https://github.com/wadx2019/qvpo/中发布。
在脑部计算机界面(BCI)领域的研究主要是在受控的实验室环境中进行的。要将BCIS转移到现实世界和日常生活情况下,将研究从这些受控环境中带出来并进入更现实的情景至关重要。最近,在教室,汽车或逼真的拖船模拟器中记录了各种研究(Blankertz等,2010; Brouwer等,2017; Ko等,2017; Miklody等,2017)。移动BCIS甚至允许参与者在录制期间自由移动(Lotte等,2009; Castermans等,2011; De Vos等,2014; Wriessnegger等,2017;VonLühmann等,2017,2019)。其他研究是通过瘫痪,锁定或完全锁定的使用者或参与者从中风中恢复的(Neuper等,2003; Ang等,2011; Leeb等,2013;Höhne等,2014; Hwang等,2017; Han等,2019; Han。,2019; Lugo等。但是,到目前为止,还没有进行BCI研究,该研究系统地研究了分心。,我们在五种类型的干扰下记录了基于运动图像的BCI研究(n = 16),该研究模仿了极光外环境,并且没有添加分心的控制任务。次要任务包括观看一段闪烁的视频,搜索特定号码的房间,听新闻,闭上眼睛和氛围刺激。我们希望通过以多种干扰条件发布此BCI数据集来进一步做出贡献。本报告提供了研究的设计和实验设置的摘要。(2016)。已经发布了许多BCI数据集,例如,在BNCI Horizon 2020 Initiative 1,4 BCI竞赛对研究社区的影响很大(Sajda等,2003; Blankertz等,2004,2006; Blankertz et al。 2018)。我们还在所有次级任务的标准分类管道和功率谱上显示了与事件相关的同步和对异步的结果组级别的结果。除了数据集2外,用于分析的代码也可以公开可用3,并且可以在Brandl等人中找到更高级的分析。
图 2:Sadtler 等人 (2014) 的 BCI 学习任务。a. 任务结构示意图。受试者首先参与“校准任务”,即他们被动观察屏幕上中心向外的光标移动。记录的运动皮层神经活动用于构建基线解码器并估计内在流形。然后指示受试者在 BCI 控制下执行中心向外的光标移动,首先使用基线解码器,然后使用通过扰动基线解码器构建的扰动解码器。这种扰动可以保持基线解码器与内在流形的对齐(流形内扰动,或 WMP),也可以破坏它(流形外扰动,或 OMP)。b. 内在流形的低维图示及其与本任务中使用的解码器(在方程 3 中定义)的关系。彩色点表示在校准任务的不同试验期间记录的活动模式,由该试验中呈现的光标速度着色。这些刺激的光标速度用右上方插图中的颜色匹配箭头表示,后续光标控制任务中使用的光标目标用绿色菱形表示。引起的神经活动模式主要位于灰色矩形所示的二维平面内,即所谓的内在流形。三个假设的一维解码器用彩色箭头表示,分别标记为基线解码器、WMP 和 OMP。通过将各个活动模式投影到相应的解码器向量上,可以可视化这些解码器的线性读数的相应分量 y 1 。这以绿色标记的一个活动模式为例,图中显示了其在三个解码器上的投影。由于该活动模式靠近内在流形,因此它会从基线解码器和 WMP 产生较大的读数(即远离原点,在三个解码器的交点处),而基线解码器和 WMP 都与内在流形很好地对齐。相比之下,此活动模式通过 OMP 的读数要弱得多(即其在此解码器上的投影更接近原点),因为此解码器远离固有流形。重要的是要记住,此插图是真实任务的简化卡通,其中固有流形是高维的(8-12D 而不是 2D),并且 BCI 任务依赖于两个读数(y 1 ,y 2 ),而不是一个。
人类机器人相互作用(HRI)和协作是人耦合机器人系统的主要主题。随着神经技术的发展,已经实施了称为认知人类机器人相互作用的神经界面来实现自然的人类机器人互动和协作。该特刊将致力于认知人类机器人的相互作用,包括与脑电图(EEG)(EEG),带肌电图(EMG)的肌肉信号等等的脑部计算机界面(BCI)等。特刊的重点是与人耦合机器人系统的认知人类机器人相互作用与神经界面的基础和技术。本期特刊所接受了十篇文章,这些文章的内容被描述为如下。随着用于商业应用的脑电图技术的发展,它们的变革潜力需要同样重要的伦理查询。Lopez等。咨询不同的数据库,该数据库介绍了概念性和经验讨论以及有关脑电图的各种商业和道德方面的发现。随后,内容是从文章中提取的,并提供了主要结论。最后,与某些主题领域的专家小组协商进行了对结果的外部评估,例如生物医学工程,生物技术和神经科学。基于bcis的感觉运动节奏(SMR)可以帮助用户使用运动图像执行电动机控制。但是,SMR BCI的控制范式在用户的亚群中可能无法很好地工作。Jiang等。 Wang Z等。Jiang等。Wang Z等。Wang Z等。研究经验丰富的冥想者和冥想的受试者在一维和二维光标控制任务中的行为和电生理差异。证据表明,冥想者在这两个任务中的表现都优于控制对象。此外,冥想者的静息SMR预测因子更高,静息MU节奏更稳定,并且在任务过程中具有更大的控制信号对比度。在动态制造和仓储环境中,工人不受长时间站立或蹲的下肢肌肉疲劳的肌肉疲劳。设计和评估半活性下LIMB外骨骼以减轻肌肉疲劳。外骨骼可以根据臀大肌的EMG和Quadrieceps切换三个不同的模式。进行了三组实验以评估外骨骼的影响,结果表明,外骨骼不仅有效地减少了肌肉疲劳,而且还避免了干扰佩戴者的自由运动。
软机器人利用合规的材料以灵活的方式与复杂和不确定的环境相互作用,从而可以操纵脆弱的物体并与生物的安全相互作用。它们的适应性推动了医学和制造等领域的创新。设计软机器人即使对于经验丰富的设计师,由于其非线性材料,多物理耦合,多个身体与环境之间的复杂相互作用及其许多自由度,即使对于经验丰富的设计师来说也很具有挑战性。这解释了为什么软机器人技术中的第一批设计受到自然的启发,模仿了诸如蠕虫或章鱼之类的软动物。软体能够符合硬对象并重新配置DI FF任务,然后将控制的重要部分委派给身体。与刚性机器人不同,体现的智能仍然是软机器人技术中的新兴话题。但是,很明显,可以很好地适应其环境的代理商可以快速学习智能行为。本文摆脱了传统的训练控制和敏捷性的关注,旨在通过将人工智能与软机器人设计联系起来来应对控制挑战。软机器人技术领域在建模,控制和设计方面提出了许多挑战。Inria Lille的除霜团队已经开发了几种有限元方法(FEM)的工具来应对这些挑战,从而可以准确地模拟软机器人。这些工具已用于低级控制,并在制造前评估了软机器人设计。此探索需要解决一些挑战。在这项工作中,应用了各种基于FEM的仿真和数值优化工具来探索软机器人的计算设计。设计空间必须非常大,才能探索相关的设计,但也受到了足够的限制,以使优化问题可以解决。开发相关的数学适应性功能对于准确评估软机器人设计的性能和效果至关重要。鉴于计算设计算法的重要数据要求和准确模拟的计算费用,我们旨在通过选择平衡计算时间和准确性的模型或使用学习技术来加速FEM模拟来加快模拟的速度。本论文探讨了软机器人的计算设计,重点是对数值结果的模拟到真实性。解决了两个参数软操作器的设计优化,一个具有嵌入式传感器,另一个具有自动接触功能。随着控制任务,环境和设计空间变得更加复杂,计算负担增加。这激发了从FEM模拟中学到的替代模型的发展,以表征软机器人的设计和控制。通过各种情况证明了该模型的适用性,特别是对气动操纵器的嵌入式控制和软操作器的计算设计。此外,这项工作的一个关键目标是开发工具以选择软机器人设计和控制。
摘要:眼动界面是一种新兴技术,用户只需注视图形用户界面 (GUI) 即可控制它们。然而,使用凝视控制的 GUI 可能是一项艰巨的任务,会导致认知和身体负荷过重以及疲劳。为了应对这些挑战,我们提出了基于生物反馈的自适应人机辅助人机界面 (HA-HCI) 的概念和模型。该模型可以有效和可持续地使用由生理信号(例如凝视数据)控制的计算机 GUI。所提出的模型允许基于阻尼谐振子 (DHO) 模型在人机交互过程中进行分析性人类表现监测和评估。为了测试该模型的有效性,作者从 12 名玩凝视控制计算机游戏的健康志愿者那里获取了凝视跟踪数据,并使用奇偶统计分析对其进行了分析。实验结果表明,所提出的模型有效地描述和解释了注视跟踪性能动态,包括 GUI 控制任务性能的主体变化、长期疲劳和训练效果,以及基于注视跟踪的控制任务期间用户性能的短期恢复。我们还分析了现有的 HCI 和人类性能模型,并开发了现有生理模型的扩展,以开发自适应用户性能感知界面。所提出的 HA-HCI 模型从用户性能的角度描述了人与生理计算系统 (PCS) 之间的交互,结合了与 PCS 的标准 UI 组件交互的性能评估程序,并描述了系统应如何应对生产力 (性能) 的损失。我们通过设计眼控游戏进一步证明了 HA-HCI 模型的适用性。我们还开发了一个基于阻尼谐振的分析用户性能模型,该模型适用于描述基于注视跟踪的 PC 游戏性能的变化。使用奇偶分析测试了该模型的有效性,结果显示存在很强的正相关性。阻尼振荡模型建立的用户个人特征可用于根据玩家的游戏技能和能力对玩家进行分类。实验结果表明,玩家可以分为学习者(阻尼因子为负)和疲劳者(阻尼因子为正)。我们发现振幅和阻尼因子之间存在很强的正相关性,这表明良好的启动者通常疲劳率较高,而启动缓慢的疲劳率较低,甚至可能在比赛中提高其表现。提出的 HA-HCI 模型和分析用户性能模型为开发自适应的人性化 HCI 提供了一个框架,该框架能够监控、分析和提高使用基于生理计算的用户界面的用户的性能。所提出的模型在提高未来人类辅助凝视控制界面系统的可用性方面具有潜在的应用。
改进成像质量有可能可视化以前看不见的大脑构建基块,因此是神经科学的巨大挑战之一。近年来,新的组织清除技术的快速开发试图解决厚脑样品中的成像折衷,尤其是对于高分辨率光学显微镜,清除介质需要与客观沉浸式介质的高折射率相匹配。这些问题在昆虫组织中加剧了,其中许多(最初充满了空气的)气管管在整个大脑中分支在整个大脑中分支会增加光的散射。迄今为止,很少有研究系统地从系统地量化了使用客观透明度和组织收缩测量值的清除方法的好处。In this study we compare a traditional and widely used insect clearing medium, methyl salicylate combined with permanent mounting in Permount (“MS/P”) with several more recently applied clearing media that offer tunable refractive index ( n ): 2,2 ′ -thiodiethanol (TDE), “SeeDB2” (in variants SeeDB2S and SeeDB2G matched to oil and glycerol immersion, n分别= 1.52和1.47)和Rapiclear(也有n = 1.52和1.47)。,我们通过将新鲜解剖的大脑与二翼型链的清除大脑进行比较,在有或不添加真空或乙醇预处理(脱水和再含水)中,以撤离气管系统的空气,测量了透明度和组织收缩。结果表明,乙醇预处理对于提高透明度非常有效,无论随后的清除介质如何,而真空处理几乎没有可测量的好处。乙醇预处理的Seedb2g和Rapiclear大脑的收缩率要比使用传统的MS/P方法少得多。此外,在较低的折射率下,与TDE和MS/p相比,这些最近开发的媒体更接近甘油浸入的指数,具有出色的透明度。繁琐的速度较小,但两者都提供了足够的透明度和折射率可调节性,可允许大型昆虫的全山大脑中局部体积的超分辨率成像,甚至是光片显微镜。尽管雷管储存的样品的长期永久性仍有待确定,但在室温下,我们的样品仍显示出良好的储存后荧光保存超过一年。
主题领域:生物科学和生物技术 姓名:SANTOS MORENO, JAVIER 参考号:RYC2023-043017-I 电子邮箱:santosmoreno.j@gmail.com 职称:合成生物学家,研究基因回路对细胞行为的编程 履历:我拥有生物技术硕士学位(萨拉曼卡大学)和临床分析实验室硕士学位(庞培法布拉大学)。我在不到 3 年的时间里(2016 年,26 岁)在巴黎(索邦大学巴黎城分校)获得博士学位,研究蛋白质分泌。我研究了细菌(K. oxytoca)II 型分泌系统 (T2SS) 的分子机制,为此我描述了新的蛋白质相互作用并产生了重要的结果,这使我提出了一种新的 T2SS 分泌模型。在瑞士洛桑做博士后期间,我将研究重点从研究现有生物系统转向构建新系统。在研究大肠杆菌的过程中,我率先使用 CRISPRi 构建了一些最重要的合成电路(包括图案化电路、振荡器或双稳态开关),并将这些电路用于不同的应用,包括进化研究、人类病原体(S. penuemoniae)感染研究或细菌细胞生理学的重新编程。我目前在巴塞罗那进行研究,最初以玛丽居里研究员的身份进行,现在以胡安德拉谢尔瓦研究员的身份进行,旨在设计人类皮肤微生物组用于诊断和治疗目的。我成功地将最丰富的皮肤细菌(痤疮梭菌)变成了一种可常规转化的生物体,我为这种细菌开发了第一个分子工具箱(包括启动子、报告基因、转录因子、CRISPR 工具等),并且我构建了一种痤疮梭菌菌株,该菌株在人类皮肤细胞培养物中产生并分泌具有 ROS 清除活性的分子,这在治疗炎症性皮肤病方面具有巨大潜力。2023 年 9 月,我获得了 230 万欧元的 ERC 启动基金。我未来的研究将专注于活细胞中的编程时间。目前,我们对细胞随时间变化进行编程的能力仍然非常有限。我们依靠精确定时的人工干预或控制重复过程的分子振荡器,但我们仍然无法对细胞进行编程以在所需的时间自主执行自定义操作。我现在打算通过在 E. coli 中生成分子计时器来计算时间并在指定时间执行所需的操作,从而朝着这个目标迈出一大步。计时器将具有高度可编程性、可重复使用性和可扩展性,我将使用一种简单而有效的方法将时间可编程性扩展到其他生物体(包括酵母和哺乳动物细胞)。最后,我将利用生物计时器的潜力,将其用于不同的应用,包括:在生物控制中,在期望的时间后进行细胞程序性死亡;精确控制任务执行顺序和时间,用于生物生产;以及在期望的时间窗口内记录(外)细胞事件的“哨兵”细胞,用于生物传感。我的研究结果将释放出无数新的可能性,包括基础的和应用的。例如,在开放或难以接近的环境中(例如农田或受污染的湖泊)部署工程细胞最终可能成为现实,因为任务执行和自我毁灭将被遗传编码为在预定的时间发生。此外,编程的时间指令可以避免在大型生物反应器中对昂贵的诱导信号的需求,或者使研究发育过程时受到的外部干扰最小。总之,我的团队将开发出非常需要的、突破性的测量和编程细胞时间的能力。
† 同等贡献。*1760 Haygood Dr NE,亚特兰大,佐治亚州,美国。电子邮件:chethan [at] gatech.edu。简介:闭环实验是脑机接口 (BCI) 研究的关键组成部分。人工神经网络 (ANN) 是用于建模和解码神经活动的最先进的工具,但将其部署到闭环实验中却具有挑战性。研究人员需要一个框架,该框架既支持用于运行 ANN 的高级编程语言(例如 Python 和 Julia),又支持对低延迟数据采集和处理至关重要的语言(例如 C 和 C++)。为了满足这些需求,我们推出了 BRAND 实时异步神经解码系统 (BRAND)。材料、方法和结果:BRAND 可以在几乎任何标准 Linux 计算机上运行,并且由称为节点的进程组成,它们通过图中的数据流相互通信。BRAND 支持微秒精度的可靠实时执行,使其成为闭环神经科学和神经工程应用的理想平台。 BRAND 使用 Redis [1] 在节点之间发送数据,从而实现快速的进程间通信 (IPC)、对 54 种编程语言的支持以及跨多台计算机的分布式处理。开发人员只需进行极少的实施更改,即可在 BRAND 中无缝部署现有的 ANN 模型。在初步测试中,BRAND 在发送大量数据(1024 个通道的 30 kHz 模拟神经数据,以 1 毫秒的块为单位)时实现了快速的 IPC 延迟(<500 微秒)。BCI 控制通过一个图表进行测试,该图表通过以太网接收 30 kHz 微电极阵列电压记录,过滤和阈值化输入以获取尖峰,将尖峰分成 10 毫秒的箱体,应用解码模型,并更新光标在显示屏上的位置。在系统的初步演示中,BrainGate2 临床试验 (NCT00912041) 的参与者 T11 在径向 8 中心向外光标控制任务中实现了 2.84 ± 0.83 秒(53 次试验)的目标获取时间,其中 30 kHz 信号处理、线性解码、任务控制和图形均在 BRAND 中执行。未来的实验将结合 ANN;为了对 ANN 延迟进行基准测试,我们运行了基于 PyTorch 的循环神经网络解码器(10 个隐藏单元、30 个箱输入序列)并测量了延迟(N = 30,000 个数据包)。对于此配置,从信号输入到解码器预测的端到端延迟始终小于 2 毫秒(图 1)。我们还验证了 BRAND 可以实时运行两种流行的神经群体动态模型——通过动态系统进行潜在因子分析 (LFADS) [2] 和神经数据转换器 (NDT) [3],使用其原始的 Tensorflow 和 PyTorch 实现,每 10 毫秒箱(256 通道数据)的延迟低于 6 毫秒。讨论:BRAND 支持低延迟 ANN 推理,同时提供与闭环 BCI 研究所需的数据采集、信号处理和任务代码的无缝集成。意义:BRAND 凭借其模块化设计和广泛的语言支持,简化了将计算模型从离线分析转换为闭环实验的过程,利用 ANN 的强大功能来改善多种环境下的 BCI 控制。致谢:这项工作得到了埃默里神经调节和技术创新中心 (ENTICe)、NSF NCS 1835364、DARPA PA-18-02-04-INI-FP-021、NIH Eunice Kennedy Shriver NICHD K12HD073945、NIH-NINDS/OD DP2NS127291、阿尔弗雷德 P.斯隆基金会、Burroughs Wellcome 基金会、作为西蒙斯-埃默里国际运动控制 (CP) 联盟一部分的西蒙斯基金会、NIH NINDS NS053603、NS074044 (LEM)、NIH NIBIB T32EB025816 (YHA)、NIH-NIDCD U01DC017844 和退伍军人事务部康复研究与发展服务 A2295R (LRH) 的支持。参考文献:[1] Redis https://redis.io/ 。[2] Pandarinath 等人,2018 年,Nat Methods doi:10.1038/s41592-018-0109-9。[3] Ye 和 Pandarinath,2021 年,神经元行为数据分析理论 doi:10.1101/2021.01.16。42695。
