摘要 本文介绍了一种新颖的人机界面,它基于舌头和嘴唇的运动,使用来自市售相机的视频数据。提取运动的大小和方向,可用于设置光标动作或进行其他相关活动。运动检测基于卷积神经网络。ASSISLT 系统 [1] 展示了所提解决方案的适用性,该系统旨在支持患有先天性和后天性运动性言语障碍的成人和儿童的言语治疗。该系统侧重于使用改善舌头运动和发音的练习进行个性化治疗。该系统提供了一组可调节的练习,使用增强现实来激励练习者的正确表现。自动评估治疗动作的表现使治疗师能够客观地跟踪治疗进展。
forepad是可穿戴的触摸板,由用户的嘴控制。它的创作者将其称为一种“口服”,因为它是口腔内部戴的界面,类似于使用头饰或腕带。的口感像牙齿固定器一样穿着,戴在口腔屋顶上,它使用一系列传感器将用户的动作转化为信号。例如,它包括一条触控板,该触控板位于用户口的口感上,用户可以移动他或她的舌头以控制光标。其他传感器允许用户将其按在口感上的左键单击,然后sip(即可吸吮或增加嘴巴的压力),以右键单击。它还具有其他互动方式(例如头运动输入)的功能。每种运动类型对应于对连接孔的系统的影响。
为了推断意图,脑机接口必须提取能够准确估计神经活动的特征。然而,信号质量随时间推移而下降,阻碍了使用特征工程技术恢复功能信息。通过使用植入三位人类参与者大脑皮层的电极阵列记录的神经数据,我们在此展示了卷积神经网络可用于将电信号映射到神经特征,方法是联合优化特征提取和解码,但所有电极必须使用相同的神经网络参数。在这三位参与者中,神经网络在所有指标的光标控制任务中都带来了离线和在线性能改进,优于宽带神经数据的阈值交叉率和小波分解(以及其他特征提取技术)。我们还表明,经过训练的神经网络无需修改即可用于新的数据集、大脑区域和参与者。
传统的OT,BCI辅助疗法或其组合代表了参与者在此阶段陷入的三组。在BCI会议期间,使用基于EEG的系统控制虚拟设备或机器人设备,并且参与者收到的培训方案是为满足其要求而定制的。课程每周三次进行三个星期,他们持续了45分钟。这是通过使用动作研究臂测试(ARAT)和神经成像(fMRI)评估的运动功能来跟踪大脑活动变化的方法来完成的。BCI培训方案:参与者接受了如何修改其大脑活动以指导某些外部工具的培训。在开始阶段,受训者熟悉该系统,然后是诸如在屏幕上移动光标或控制机器人手臂进行基本操作之类的任务。实时反馈:参与者收到了有关其性能的立即反馈,以便他们可以在运营BCI系统方面提高自己[8]。
1,2,3,4 Mahaguru技术研究所,Kattachira摘要:人类计算机互动(HCI)重点关注人员与计算机之间的界面和互动。 HCI的主要目标是设计一个使人们以新颖方式与计算机互动的环境。 人们用来互动的最重要方法之一是眼动和眼睛眨眼,尤其是对于身体残疾的人。 本文基于眼睛眨眼和面部运动提出了一种屏幕上的计算机交互方法。 这两个主要组成部分是图像处理,以检测眼睛,面部运动和闪烁的眼睛。 面部图像由计算机的相机捕获,然后用于确定眼睛位置和尺寸。 这是根据著名的“ 68点”和面部检测方法的面部网格系统完成的。 在此系统中使用眼睛眨眼来输入类似于用户按下键盘上的“ Enter”按钮的字符,并且使用面部运动来移动光标类似于使用鼠标的使用。1,2,3,4 Mahaguru技术研究所,Kattachira摘要:人类计算机互动(HCI)重点关注人员与计算机之间的界面和互动。HCI的主要目标是设计一个使人们以新颖方式与计算机互动的环境。人们用来互动的最重要方法之一是眼动和眼睛眨眼,尤其是对于身体残疾的人。本文基于眼睛眨眼和面部运动提出了一种屏幕上的计算机交互方法。这两个主要组成部分是图像处理,以检测眼睛,面部运动和闪烁的眼睛。面部图像由计算机的相机捕获,然后用于确定眼睛位置和尺寸。这是根据著名的“ 68点”和面部检测方法的面部网格系统完成的。在此系统中使用眼睛眨眼来输入类似于用户按下键盘上的“ Enter”按钮的字符,并且使用面部运动来移动光标类似于使用鼠标的使用。
Neuralink 1 是一种由多个芯片、无线电池和植入物内的其他支持电子设备组成的设备。从该植入物中伸出的超细电线(其中 64 根具有 1,024 个电极)类似于触手,将分散到大脑的不同部位。8 植入物发出的信号通过蓝牙传输到计算机,计算机对其进行解码,从而移动机械臂或屏幕上的光标。9 2021 年,埃隆·马斯克 (Elon Musk) 表示,“它就像你头骨中的 Fitbit,带有通向大脑的细小电线。”10 该设备使用机器人手术器械插入,该器械使用的针头比人的头发还细。它还具有五个内置摄像系统,可使用光学相干断层扫描进行大脑成像。11 临床前数据已经证明 Neuralink 植入的猪和猴子具有疗效。事实上,2021 年初,猴子在电脑上玩乒乓球的视频的确在社交媒体上疯传。12 杜克大学的 Miguel Necolelis 博士早在 2014 年就曾将 BCI 植入猴子体内,使它们的大脑能够控制光标。13 Neuralink 的独特卖点是带宽和电极数量明显更高,因此可以对运动速度和准确性进行精细调整。我们不知道试验何时开始招募志愿者。Neuralink 大脑植入物可能还需要几十年才能商业化,也许是它的“n”个版本。2022 年,美国 FDA 拒绝了 Neuralink 的申请,理由是对其植入方式、电线向大脑其他部位的迁移以及如何移除设备的担忧。2 当局和科学家提出的其他担忧包括动物伦理、安全和物流问题。 14 – 16 Neuralinks 的研究迄今为止涉及大鼠、小鼠、绵羊、猪和猴子。17 芯片从他们的大脑中取出时情况可疑,并且被运走,没有记录针对污染/传染性生物的预防措施。18
肌电接口在消费者和健康应用中前景广阔,但目前它们受到不同用户之间性能差异和任务间通用性差的限制。为了解决这些限制,我们考虑在操作过程中不断适应的接口。尽管当前的自适应接口可以减少受试者之间的差异,但它们在任务之间的通用性仍然很差,因为它们在训练期间使用了特定于任务的数据。为了解决这一限制,我们提出了一种新范式,使用自然眼球注视作为训练数据来调整肌电接口。我们招募了 11 名受试者,使用从前臂肌肉测量的高密度表面 EMG 信号在 2D 计算机光标控制任务上测试我们提出的方法。我们发现我们的凝视训练范式和当前的任务相关方法之间的任务性能相当。这一结果证明了