1. 本手册经批准供国防部所有部门和机构使用。 2. 本手册中包含的标准是定性的。有关具体标准的更具体指导和背景,可在本手册引用的联合服务规范指南 (JSSG) 和第 14 章《联邦法规》中找到。另请注意,每个部分都包含一个典型认证源数据列表,可用于评估系统是否符合该部分的标准。标准中使用的术语(例如“可接受”)是参数,其具体定义必须由实施办公室根据每个独特的航空系统确定和记录。 3. 请注意,在电子版中,手册第 4 至 19 节中以蓝色突出显示的段落标题或文本是指向附录技术联系人表中书签的内部超链接。单击蓝色上的鼠标光标将跳转到表中引用的位置。要从技术联系人表格返回到手册中的跳转点,请使用菜单栏上的后退箭头 � 键(启用 View-Toolbars-Web 以获取后退箭头工具)。文档中灰色阴影的内部交叉引用执行类似操作。4. 有关本文档的评论、建议或问题应发送至(ASC/ENOS,2530 Loop Road West,Wright-Patterson AFB OH 45433-7101)或发送电子邮件至(Engineering.Standards@wpafb.af.mil)。由于联系信息可能发生变化
鼠标是人机交互 (HCI) 技术的一项伟大发明。目前,无线鼠标或蓝牙鼠标仍然使用设备,并且并非完全摆脱设备,因为它使用电池供电并使用加密狗将其连接到 PC。在所提出的 AI 虚拟鼠标系统中,可以通过使用网络摄像头或内置摄像头捕捉手势并使用计算机视觉检测手指尖来克服这一限制。系统中使用的算法利用了机器学习算法。基于手势,可以虚拟控制计算机,并且可以执行左键单击、右键单击、滚动功能和计算机光标功能,而无需使用物理鼠标。该算法基于深度学习来检测手部。因此,所提出的系统将通过消除人为干预和对设备控制计算机的依赖来避免 COVID-19 传播。Python 编程语言用于开发 AI 虚拟鼠标系统,此外,AI 虚拟鼠标系统还使用了计算机视觉库 OpenCV。在所提出的 AI 虚拟鼠标系统中,该模型利用 MediaPipe 包来跟踪手部和手尖,同时还利用 Py input、Autopy 和 PyAutoGUI 包在计算机窗口屏幕上移动以执行左键单击、右键单击和滚动等功能。所提出的模型的结果显示出非常高的准确度,并且所提出的模型可以在使用 CPU 而无需使用 GPU 的情况下在实际应用中很好地工作。
摘要计算机应用程序的进步已经越来越促进了日常任务,最近的创新集中在语音助手和虚拟输入设备上。该技术对具有移动性挑战的个体或直接手动计算机交互的情况有限。利用计算机视觉和人工智能,这些应用程序可以解释视觉数据,例如人类运动,并决定执行相应的命令。本研究结合了语音助手,虚拟鼠标和虚拟键盘,以增强可访问性和可用性,特别是对于身体残疾人或喜欢替代输入方法的人。使用Python,MediaPipe和OpenCV,该应用程序有效地处理和解释用户手势,提供响应迅速,有效的计算体验。MediaPipe的功能特别有助于模型的精确度,优化了对AI驱动任务的手动跟踪和手势识别。用户可以通过各种手势来控制计算机光标,使用彩色盖或磁带在虚拟键盘上键入,并执行诸如左键单击和拖动项目之类的基本操作。这种集成的解决方案旨在提高生产率,使计算机更容易访问并增强用户的整体数字体验。在此类应用中,AI和计算机视觉的融合继续推动了创新和包容性的计算解决方案,并承诺在人类计算机互动中具有更大的可访问性和便利性的未来。
摘要 - 心脏内脑机界面(BMIS)将神经活动转化为控制信号,以驱动假体或通信设备,例如机器人臂或计算机光标。在临床上可行,BMI解码器必须达到高准确性和鲁棒性。优化这些解码器是昂贵的,传统上需要动物或人类的实验跨越数年。这是因为BMI是闭环系统,用户在其中更新其电动机命令是为了响应不完美的解码输出。使用先前收集的“频线”数据的解码器优化将不会对此闭环响应进行计算。明显加速的解码器优化的另一种方法是使用闭环实验模拟器。该模拟器的关键组成部分是神经编码器,该神经编码器合成从运动学产生神经种群活动。先前的神经编码器并未模拟神经种群活动的重要特征。为了克服这些局限性,我们使用了深度学习的神经编码器。我们发现了这些模型在再现刺激性时间直方图(PSTHS)和神经popula posula todyics中的先验神经编码器上的表现非常优于先前的神经编码器。我们还发现,深度学习神经启动器可以更好地匹配神经解码,从而在频道数据和闭环实验数据中结果匹配。我们预计这些深度学习的神经编码器将大大改善BMI的模拟器,从而更快地评估,优化和BMI解码器算法的表征。
更安全的环境意识 安全是 Bendix/King 的首要任务。KMD 250 配备齐全,可满足这一需求,具有移动地图功能、地形和可选内置 GPS。您可以随时添加所需的安全传感器,包括通过 Bendix/King KDR 510 VDL 模式 2 数据链路接收器添加数据链路气象(飞行信息服务或 FIS);通过 Goodrich WX-500 Stormscope ® 添加雷电检测;以及通过任何 Bendix/King IHAS 交通产品添加交通。KMD 250、KDR 510 和 KT 73 模式 S 转发器结合在一起构成 IHAS 2000 综合避险系统 — 非常有竞争力的价格下也能保证安全。 易于飞行 KMD 250 的简单性让您可以轻松地专注于飞行,而不是面板。左侧的按键可让您直接切换到地图、飞行计划、天气屏幕或交通屏幕。独特的操纵杆/旋钮可让您指向、滚动和移动屏幕上的光标。专用的范围按钮使放大和缩小成为一步到位的过程。软键(更改每个页面功能的键)增加了灵活性,因此您的下一步操作始终只需按一下键即可完成。KMD 250 甚至拥有我们广受欢迎的 QuickTune ™ 功能,可让您将频率直接加载到 Bendix/King KX 155A 或 KX 165A NAV/COMM 中。地面覆盖 KMD 250 的地图页面包含详细的地形,为您提供相对或绝对地形视角。相对地形允许您查看相对于
在日常行为中,我们会执行许多包含一系列动作的目标导向手动任务。然而,关于此类任务中预测控制机制的发展方面,尤其是支持儿童连续手动动作的大脑激活方面,我们了解的有限。我们在青春期早期(11-14 岁)正常发育儿童中调查了这些问题,并与之前收集的成人数据进行了比较。参与者躺在磁共振成像 (MRI) 扫描仪中,使用手持操纵器将计算机屏幕上的光标移向连续呈现的目标。下一个目标要么在完成当前目标后显示(单目标条件),在这种情况下无法提前计划即将到来的动作,要么提前显示(双目标条件),这允许使用预测控制策略。成年人在双目标条件下完成的目标比在单目标条件下完成的目标多,显示出有效的预测控制策略。相比之下,儿童在两个目标条件下完成的目标比在单个目标条件下完成的目标要少,而且由于抑制过早动作的能力有限,实施预测策略存在困难。与成人相比,儿童大脑中激活程度更高的区域包括前额叶和后顶叶区域,这表明由于抑制挑战,儿童对高级认知处理的需求增加。因此,对于连续手动任务中的预测机制,关键发展可能发生在青春期早期之后。这比之前报告的其他手动任务的年龄要晚,这表明预测阶段的转变很难掌握。
随着技术的快速发展,电子产品每天都在越来越小。现在有无线设备。这项研究提出了一种机制,该机制可能会导致一些将来会塑造HCI(人为计算机相互作用)的小工具。这个想法是使用手势识别来创建虚拟鼠标。目标是用简单的摄像头替换传统或普通的鼠标设备,以控制鼠标光标的功能。仅使用相机,虚拟鼠标可作为用户和计算机之间的管道起作用。它促进了鼠标功能,并允许用户与机器连接,而无需任何物理或机械设备。使用网络摄像头或内置摄像头拿着彩色帽子或彩色粘纸纸,使用这种手势识别技术很有可能记录和跟踪手的指尖。系统将跟踪手的颜色和移动,并与之同时移动光标。通常,我们使用鼠标,键盘或其他交互设备,这些设备主要与计算机计算机紧凑。无线设备还需要电源和连接技术,但是在本文中,用户的裸手是使用网络摄像头的唯一输入选项。因此,这是控制鼠标光标的一种非常互动的方法。使用基于计算机愿景的库OpenCV以Python编程语言实现此系统。该系统有可能替换典型的鼠标和机器的遥控器。唯一的障碍是照明条件。这就是为什么系统仍然不足以替换传统鼠标的原因,因为大多数计算机都在较差的照明条件下使用。
通过视觉引导手部动作进行的计算机交互通常采用抽象的基于光标的反馈或不同程度真实感的虚拟手 (VH) 表示。目前尚不清楚在虚拟现实环境中更改这种视觉反馈的效果。在这项研究中,19 名健康的右撇子成年人使用四种不同类型的视觉反馈执行食指运动(“动作”)和观察运动(“观察”):简单的圆形光标 (CU)、指示手指关节位置的点光 (PL) 图案、阴影卡通手 (SH) 和逼真的 VH。使用数据手套记录手指运动,并以光学方式记录眼动追踪。我们使用功能性磁共振成像 (fMRI) 测量大脑活动。与基线相比,动作和观察条件均显示枕颞皮质中的 fMRI 信号响应更强。动作条件还会引起运动、体感、顶叶和小脑区域的双侧激活增加。对于这两种情况,带有移动手指的手部反馈(SH、VH)比 CU 或 PL 反馈导致更高的激活,特别是在早期视觉区域和枕颞皮质中。我们的结果表明,与视觉不完整的手部和抽象反馈相比,在视觉引导的手指运动过程中,皮质区域网络的募集更强。这些信息可能对研究和应用或训练相关范例中涉及人体部位的视觉引导任务的设计产生影响。
键/符号 解释 Windows PC 键盘有一个 Windows 键,看起来像一个四窗格窗口 命令 Apple Mac 电脑有一个命令键。 菜单 PC 键盘还有一个菜单键,看起来像指向菜单的光标。 Esc Esc(Esc)键 F1 - F12 有关键盘键 F1 到 F12 的信息。 F13 - F24 有关键盘键 F13 到 F24 的信息。 Tab Tab 键 Caps lock Caps lock 键 Shift Shift 键 Ctrl Ctrl(Control)键 Fn Fn(功能)键 Alt Alt(备用)键(仅限 PC;Mac 用户有 Option 键) 空格键 空格键 箭头 向上、向下、向左、向右 箭头键 Back Space 退格键(或 Backspace)键 Delete Delete 或 Del 键 Enter Enter 键 Prt Scrn Print screen 键 Scroll lock Scroll lock 键 Pause Pause 键 Break Break 键 Insert Insert 键 Home Home 键 Page up Page up 或 pg up 键 Page down Page down 或 pg dn 键 End End 键 Num Lock Num Lock 键 ~ Tilde ` 尖音符、反引号、重音符、重音符、左引号、左引号或按压!感叹号、惊叹号或 Bang @ Ampersat、Arobase、Asperand、At 或 At 符号 # Octothorpe、数字、磅号、升号或哈希 £ 英镑或英镑符号 € 欧元 $ 美元符号或通用货币 ¢ 美分符号 ¥ 人民币/日元 § 微或节 % 百分比 ° 度
† 同等贡献。*1760 Haygood Dr NE,亚特兰大,佐治亚州,美国。电子邮件:chethan [at] gatech.edu。简介:闭环实验是脑机接口 (BCI) 研究的关键组成部分。人工神经网络 (ANN) 是用于建模和解码神经活动的最先进的工具,但将其部署到闭环实验中却具有挑战性。研究人员需要一个框架,该框架既支持用于运行 ANN 的高级编程语言(例如 Python 和 Julia),又支持对低延迟数据采集和处理至关重要的语言(例如 C 和 C++)。为了满足这些需求,我们推出了 BRAND 实时异步神经解码系统 (BRAND)。材料、方法和结果:BRAND 可以在几乎任何标准 Linux 计算机上运行,并且由称为节点的进程组成,它们通过图中的数据流相互通信。BRAND 支持微秒精度的可靠实时执行,使其成为闭环神经科学和神经工程应用的理想平台。 BRAND 使用 Redis [1] 在节点之间发送数据,从而实现快速的进程间通信 (IPC)、对 54 种编程语言的支持以及跨多台计算机的分布式处理。开发人员只需进行极少的实施更改,即可在 BRAND 中无缝部署现有的 ANN 模型。在初步测试中,BRAND 在发送大量数据(1024 个通道的 30 kHz 模拟神经数据,以 1 毫秒的块为单位)时实现了快速的 IPC 延迟(<500 微秒)。BCI 控制通过一个图表进行测试,该图表通过以太网接收 30 kHz 微电极阵列电压记录,过滤和阈值化输入以获取尖峰,将尖峰分成 10 毫秒的箱体,应用解码模型,并更新光标在显示屏上的位置。在系统的初步演示中,BrainGate2 临床试验 (NCT00912041) 的参与者 T11 在径向 8 中心向外光标控制任务中实现了 2.84 ± 0.83 秒(53 次试验)的目标获取时间,其中 30 kHz 信号处理、线性解码、任务控制和图形均在 BRAND 中执行。未来的实验将结合 ANN;为了对 ANN 延迟进行基准测试,我们运行了基于 PyTorch 的循环神经网络解码器(10 个隐藏单元、30 个箱输入序列)并测量了延迟(N = 30,000 个数据包)。对于此配置,从信号输入到解码器预测的端到端延迟始终小于 2 毫秒(图 1)。我们还验证了 BRAND 可以实时运行两种流行的神经群体动态模型——通过动态系统进行潜在因子分析 (LFADS) [2] 和神经数据转换器 (NDT) [3],使用其原始的 Tensorflow 和 PyTorch 实现,每 10 毫秒箱(256 通道数据)的延迟低于 6 毫秒。讨论:BRAND 支持低延迟 ANN 推理,同时提供与闭环 BCI 研究所需的数据采集、信号处理和任务代码的无缝集成。意义:BRAND 凭借其模块化设计和广泛的语言支持,简化了将计算模型从离线分析转换为闭环实验的过程,利用 ANN 的强大功能来改善多种环境下的 BCI 控制。致谢:这项工作得到了埃默里神经调节和技术创新中心 (ENTICe)、NSF NCS 1835364、DARPA PA-18-02-04-INI-FP-021、NIH Eunice Kennedy Shriver NICHD K12HD073945、NIH-NINDS/OD DP2NS127291、阿尔弗雷德 P.斯隆基金会、Burroughs Wellcome 基金会、作为西蒙斯-埃默里国际运动控制 (CP) 联盟一部分的西蒙斯基金会、NIH NINDS NS053603、NS074044 (LEM)、NIH NIBIB T32EB025816 (YHA)、NIH-NIDCD U01DC017844 和退伍军人事务部康复研究与发展服务 A2295R (LRH) 的支持。参考文献:[1] Redis https://redis.io/ 。[2] Pandarinath 等人,2018 年,Nat Methods doi:10.1038/s41592-018-0109-9。[3] Ye 和 Pandarinath,2021 年,神经元行为数据分析理论 doi:10.1101/2021.01.16。42695。