摘要 本文介绍了一种新颖的人机界面,它基于舌头和嘴唇的运动,使用来自市售相机的视频数据。提取运动的大小和方向,可用于设置光标动作或进行其他相关活动。运动检测基于卷积神经网络。ASSISLT 系统 [1] 展示了所提解决方案的适用性,该系统旨在支持患有先天性和后天性运动性言语障碍的成人和儿童的言语治疗。该系统侧重于使用改善舌头运动和发音的练习进行个性化治疗。该系统提供了一组可调节的练习,使用增强现实来激励练习者的正确表现。自动评估治疗动作的表现使治疗师能够客观地跟踪治疗进展。
“舌头驱动器”是一种无线、非接触式舌头操作辅助技术,专为严重残疾的人开发,用于使用计算机,并仅使用舌头控制轮椅和其他设备等环境。舌头被认为是严重残疾人操作辅助设备的绝佳附属物。舌头驱动器由固定在舌头上的霍尔效应磁传感器阵列组成。传感器通过无线链路传输信号,并对其进行处理以控制安装在牙齿外侧的牙齿保持器上,以测量由米粒大小的小型永久微型磁铁产生的磁场,该磁铁通过植入、穿孔或粘合剂附着在个人的舌头上。这项技术允许残疾人在移动计算机鼠标或电动轮椅时使用舌头。该技术的主要优势是可以通过处理传感器输出的组合来捕捉各种各样的舌头运动。这将为用户提供平滑的比例控制,而不是基于大多数现有技术的开/关控制。