XiaoMi-AI文件搜索系统
World File Search System机械臂
通过大脑实现双手机械臂的共享控制......
智能机器人系统和脑机接口 (BMI) 的进步帮助患有感觉运动障碍的个体恢复了功能和独立性；然而，由于通过用户输入以协调的方式控制多个肢体的多个自由度 (DOF) 的技术复杂性，需要双手协调和精细操作的任务仍然未得到解决。为了应对这一挑战，我们实施了一种协作共享控制策略来操纵和协调两个模块化假肢 (MPL) 以执行双手自我进食任务。一位在感觉运动大脑区域有微电极阵列的人类参与者向两个 MPL 发出命令来执行自我进食任务，其中包括双手切割。从双侧神经信号解码运动命令，以一次控制每个 MPL 上的最多两个 DOF。共享控制策略使参与者能够将其四自由度控制输入（每只手两个）映射到多达 12 个 DOF，以指定机器人末端执行器的位置和方向。通过使用神经驱动的共享控制，参与者成功同时控制了两个机械肢体的运动，从而在复杂的双手自主进食任务中切开和进食食物。通过 BMI 与智能机器人行为协作实现的双手机器人系统控制的演示对于恢复感觉运动障碍患者的复杂运动行为具有重要意义。
通过脑电图诱导的机械臂自主游戏教学...
摘要 — 本文讨论了一个简单的室内游戏，玩家必须将球穿过固定在可变云台平台上的环。这项研究的动机是通过机械臂学习有经验的玩家的游戏动作，以便随后由机器人训练年幼的儿童（受训者）。机器人学习玩家在不同游戏状态下的游戏动作，这些动作由环的云台方向及其相对于玩家的径向距离决定。有经验的玩家/专家的动作由六个参数定义：玩家右臂的三个连接坐标和给定投掷中球的三维速度。这里采用强化学习来调整概率学习自动化的状态动作概率矩阵，该矩阵基于玩家因成功（或失败）将球穿过给定环而获得的奖励（或惩罚）分数。混合脑机接口 (BCI) 用于检测玩家游戏动作中的失败，通过在运动执行后自然唤醒错误相关电位 (ErrP) 信号，由运动想象指示。在运动想象后没有 (存在) ErrP 的情况下，系统认为玩家的尝试是成功 (失败)，从而根据各个游戏实例的成功/失败调整学习自动机中的概率。在状态动作概率矩阵收敛后，将其用于规划，其中选择与自动机中给定状态下最高概率相对应的动作进行执行。机器人可以使用具有收敛概率分数的学习自动机自主地训练儿童游戏。进行的实验证实，当环放置在距离机器人 4 英尺的中等距离时，机器人手臂在运动执行阶段的成功率非常高 (超过 90%)。索引词——脑机接口、强化学习、游戏、事件相关电位、事件相关去同步/同步。
基于视觉的语音控制机械臂用于处理...
摘要： - 该项目概述了基于视觉的语音控制机器人系统，该系统涉及牙科工具，旨在提高牙科服务的质量和卫生。使用带有网络摄像头的 Raspberry Pi 上的 OpenCV 和带有麦克风的 Google Speech API 进行语音识别，实现实时计算机视觉。机器人知道需要哪种牙科器械，并在牙医要求时自行拾取牙科器械，从而最大限度地减少接触。该应用程序还通过提供工具的实时视觉反馈来改善与工具相关的工作条件，包括准确定位和握持工具。这种方法增强了仪器的可达性，提高了清洁度，并使牙科手术能够持续进行而不会频繁中断。
利用脑电信号进行脑控机械臂系统
摘要 - 借助脑电图驱动的机械臂，意念控制假肢的梦想正在成为现实。这些非凡的设备将思维语言转化为身体动作。想象一下戴上舒适的脑电图耳机，它可以检测到运动过程中大脑产生的微妙脑电波。你的想法就像一个秘密代码，头带会拾取这些信号，并通过软件界面进行处理，然后传送到微控制器。这个界面会对大脑活动进行分类，以找到你的命令，这些命令通过充当机械臂大脑的微型电极发送到计算机。这会将你的想法转化为手臂电机的指令，电机根据收到的脑电图命令执行运动。考虑到预算和机械部件的可用性，机械臂应尽可能接近自然手臂的动作。但最终目标仍然很明确：创造一个感觉像额外肢体一样自然且易于使用的机械臂。关键词 - 机械臂、Raspberry Pi、机器学习、脑电图传感器
在线环境下基于通道优化视觉图像的机械臂控制
摘要 — 脑电图是一种有效的方法，它以非侵入方式在用户和计算机之间提供双向通路。在本研究中，我们采用视觉图像数据来控制基于 BCI 的机械臂。随着用户执行任务，视觉意象会随着时间的推移增加视觉皮层的 alpha 频率范围的功率。我们提出了一种深度学习架构，仅使用两个通道来解码视觉图像数据，并且我们还研究了具有显着分类性能的两个 EEG 通道的组合。使用所提出的方法时，离线实验中使用两个通道的最高分类性能为 0.661。此外，使用两个通道（AF3-Oz）的在线实验中的最高成功率为 0.78。我们的结果提供了使用视觉图像数据控制基于 BCI 的机械臂的可能性。
干扰对机械臂皮层内脑机接口控制的影响 1
无干扰 主要任务在没有任何次要干扰的情况下完成。 背景噪音 受试者收听带有餐厅背景噪音的音轨，音量恒定。 计数音调 以可变的时间间隔随机向受试者呈现低、中、高频音调的哔哔声。指示受试者在整个试验过程中增加高哔哔声的次数，减去低哔哔声的次数，并大声计数值。 以三为单位倒数 研究人员生成一个随机的三位数，指示受试者从生成的数字开始大声以三为单位倒数。 随意交谈 向受试者提问（从不重复）以模仿正常对话。示例问题包括： 你的周末过得怎么样？ 你昨天看了电影吗？ 运动任务受试者 P1，轮椅操作：受试者的电动轮椅在试验期间关闭。受试者每 10 秒收到一次听觉提示，以改变她施加在下巴操纵杆上的力的方向。她在整个试验过程中都施加了力。方向从随机的起始方向（上、下、左、右）顺时针移动。
Archinaut 技术开发
• 原料罐 • 机械臂和机械臂末端执行器 • ESAMM Mk 9：主要用于软件/飞行航空电子设备试验台的环境 EDU • ESAMM Mk 10：飞行升级的 TVAC 测试 • 将关键进展纳入 ESAMM • 完成飞行航空电子设备设计 • 硬件子系统的模拟 • 机械臂稳健性 • 机械臂指挥 • 软件改进 • 评论
使用优化的基于通用模板的 CCA 方法控制机械臂，实现基于 SSVEP 的 BCI
最近，基于脑机接口 (BCI) 的机械臂控制系统已被用于帮助残疾人士提高无需身体运动的交互能力。然而，由于脑电图 (EEG) 信号的不稳定性以及自发脑电图活动的干扰，在三维 (3D) 空间中用机械臂执行所需任务是一项主要挑战。此外，机械手在 3D 空间中的自由运动控制是一项复杂的操作，需要更多的输出命令和更高的脑活动识别精度。基于上述内容，设计了一种基于稳态视觉诱发电位 (SSVEP) 的同步 BCI 系统，该系统具有六个刺激目标，以实现七自由度 (7-DOF) 机械臂的运动控制功能。同时，应用了一种基于模板的新型方法，该方法从不同的受试者构建优化的通用模板 (OCT)，并从通用模板和多通道脑电图信号中学习空间滤波器，以提高 SSVEP 识别精度，称为基于 OCT 的典型相关分析 (OCT-CCA)。基于公开基准数据集的离线实验对比结果表明，提出的OCT-CCA方法与CCA和基于单独模板的CCA（IT-CCA）相比，检测精度显著提高，尤其是在使用较短数据长度的情况下。最后，对五名健康受试者进行了在线实验，实现了机械臂实时控制系统。结果表明，五名受试者均能独立完成控制机械臂到达三维空间指定位置的任务。
通过单目摄像头跟踪人体姿势，实现经济高效的机械臂远程操作
摘要。机器人远程操作是执行复杂任务的重要工具，这些任务需要超出最先进算法能力的灵活性。现有的远程操作方法通常对人类操作员来说不直观，或者需要特殊的传感器和设备，这使得它们在许多情况下成本低且不切实际。在本文中，我们提出了一种依赖单目相机图像的机械臂远程操作框架。所提出的框架首先使用轻量级神经网络来估计人类操作员的身体姿势并识别他们的手势。然后，一种高效的逆运动学算法找到所需的机械臂配置，实现模仿操作员手腕运动的末端执行器运动。我们的远程操作框架可以在普通笔记本电脑上使用网络摄像头和任何具有 ROS 接口的机械臂执行。我们在 Kinova Jaco 机械臂的实际实验中验证了它的性能，展示了在环境中抓取和移动物体的能力。