XiaoMi-AI文件搜索系统
World File Search System头戴式
使用机器学习的EEG运动图像分类...
背景。脑机界面（BMI）是一种接收大脑信号的设备或实验设置，对其进行分类，然后将其用作计算机命令。对哪种学习方法（深度学习，卷积网络，AI等）尚无共识和/或每种方法中的算法类型最好运行BMI。目标。这项工作的目的是建立一个低成本，便携式，易于使用和可靠的电动图像电脑图（EEG-MI）的BMI；比较不同的算法，以找到最适合这种情况的算法。方法。在这项研究中，从Physionet公共数据和使用Emotiv头戴式耳机获得的Motor Imager（MI）EEG信号都与四种机器学习算法进行了分类。这些算法是：结合线性判别分析（LDA），深神经网络（DNN），卷积神经网络（CNN）和最终riemannian最小值（RMDM）的常见空间模式（CSP）。结果。每种方法的平均准确性分别为78％，66％，60％和80％。获得了基线与运动图像（MI）比较的最佳结果。随着全球培训公共数据的，获得了86.4％至99.9％的精度。 使用全球训练实验室数据，CSP和RMDM案例的精度高于99％。 对于实验室数据，每个事件的分类/预测计算时间分别为8.3 ms，18.1 ms，62 ms和9.9 ms。 在讨论中，可以找到此处介绍的结果与方法论的最新结果与BMI算法之间的比较。随着全球培训公共数据的，获得了86.4％至99.9％的精度。使用全球训练实验室数据，CSP和RMDM案例的精度高于99％。 对于实验室数据，每个事件的分类/预测计算时间分别为8.3 ms，18.1 ms，62 ms和9.9 ms。 在讨论中，可以找到此处介绍的结果与方法论的最新结果与BMI算法之间的比较。使用全球训练实验室数据，CSP和RMDM案例的精度高于99％。对于实验室数据，每个事件的分类/预测计算时间分别为8.3 ms，18.1 ms，62 ms和9.9 ms。在讨论中，可以找到此处介绍的结果与方法论的最新结果与BMI算法之间的比较。结论。CSP和RMDM算法产生了快速（计算时间）和有效的（成功率）工具，以实现为BMI中的深度学习算法。
沉浸式和非沉浸式虚拟现实临床应用的挑战和前景
开发能够增加日常治疗强度和时间以及提高患者积极性和兴趣的康复技术是科学研究的重点领域。到目前为止，将康复和临床方案与机器人、辅助设备、神经假体、脑机接口甚至智能手机或平板电脑应用程序等不同技术相结合已经取得了积极的成果[1]。最近，来自神经科学、心理学、医学、神经康复和运动康复的越来越多的科学证据表明，虚拟现实 (VR) 可能是康复不同疾病的最佳解决方案。事实上，由于其技术特性（即高生态效度、与其他医疗设备的智能接口、真实生活体验的 3D 模拟、用户与虚拟环境之间的自然交互）及其对人类感知和行为的强大影响，VR 为实现下一代认知/运动治疗和临床应用开辟了道路[2]。然而，尽管人们在这一主题上做出了许多努力，但对 VR 在康复和临床应用中的功效的清晰理解仍然遥遥无期。主要问题之一源于文献中术语的不当使用，其中“VR”一词通常用于描述不完全满足 VR 规范的技术（即，仅仅显示在显示器上的严肃游戏或视频游戏）。因此，更好地澄清术语以区分 VR 技术的两个方面，即沉浸式和非沉浸式 VR 非常重要。根据 Slater [3] 的说法，沉浸感由连接到系统的用户感觉和运动通道的数量和范围决定，并通过在整个系统中组合不同的技术来生成，该系统能够根据用户的头部和身体的运动实时传递变化的视觉信息，就像他/她处于等效的物理环境中一样 [3、4]。因此，在非沉浸式 VR 系统中，虚拟环境显示在标准计算机显示器上，交互仅限于使用鼠标、操纵杆或遥控器，而在沉浸式 VR 系统中（通常由新一代头戴式显示器或 Cave 自动虚拟环境系统 (CAVE) 构成），用户“被 3D 计算机生成的图像所包围”，可以使用自己的身体与虚拟环境进行自然的感觉运动交互。重要的是，证据表明，沉浸式 VR 能够引起临场感，即在虚拟环境中产生强烈的“身临其境”的感觉 [ 4 ]，这种感觉让人能够以逼真的方式对虚拟刺激做出反应，并引发生理反应，就好像主体身处真实地点一样 [ 4 – 6 ]。先前的研究结果表明，存在感是虚拟环境中引发真实情绪的必要介质 [ 5 ]，可以激活感觉运动整合的大脑机制和调节集中注意力的大脑网络 [ 7 ]。此外，研究表明，与沉浸感较低的 2D 虚拟现实相比，完全沉浸式虚拟现实更能引发存在感，而且重要的是，存在感可以影响虚拟治疗的有效性 [ 8 ]，
迈向移动和可穿戴脑机接口
简介：脑机接口 (BCI) 尚未被主流采用作为控制范例，因为大多数 BCI 系统都很笨重、难以设置，并且在移动环境中通常表现不够好，无法取代现有的输入模式。然而，BCI 可能有望成为多模式系统的一部分，当用户的手不空闲和/或无法发出语音命令时，该系统可以增强交互，这通常是高度移动应用领域的要求。随着电极功能的最新进展以及移动设备和头戴式显示器处理能力的提高，现在可以在移动设备上实时获取、发送和处理 EEG 信号。这些改进使得构建可穿戴移动 BCI 成为可能，它可以为主流用户和残疾人提供替代的交互方法。本摘要描述了我们正在进行的设计和评估可穿戴移动 BCI 组件的工作中的两项试点研究。材料、方法和结果：在我们的第一项研究中，我们的目标是设计一个 BCI 来检测所有可穿戴组件的 SSVEP。谷歌眼镜 [2] 用于同时向参与者呈现两个闪烁的视觉刺激，频率为 13 Hz 和 17 Hz。我们的 EEG 放大器是一块 OpenBCI 板，我们使用定制的 3D 打印夹子将其夹在参与者的腰带上。我们使用三个电极：枕骨（Oz）作为信号、乳突作为接地、耳垂作为参考，来检测 SSVEP 信号。我们记录了 EEG 数据以供离线分析。在 10 个疗程中，使用图 1 所示的装置，我们可以检测到参与者正在关注两个刺激中的哪一个，对于 13 Hz 的准确率为 76%-84%，对于 17 Hz 的准确率为 67%-72%，对于 1 秒长滑动窗口 SSVEP 的 PSD 振幅谱作为特征，使用对每个刺激单独训练的 10 倍交叉验证 RF 分类器。我们将实验扩展到步行-秒表刺激场景，发现单个刺激 1 秒长滑动窗口 SSVEP 的准确率为 93%。我们第二项研究的目的是确定是否可以用易于制作的定制入耳电极替换头皮电极，该电极改编自 Looney [1] 讨论的耳电极设计。我们使用 eFit s 扫描仪创建了参与者左耳的模型。然后，我们 3D 打印了一个耳机，并放置了 3 个预凝胶的 Ag/AgCl 接地板电极，并用银箔覆盖，使它们接触外耳的耳道壁。将用于比较的入耳电极和 Oz 连接到可穿戴 OpenBCI 系统和距离用户 6 厘米的闪烁的 13Hz LED。如图 2 所示，枕骨区域的峰值 SSVEP 幅度高于耳道，但 SNR 也增加了，因此使用可穿戴 BCI 从耳朵和头皮的检测准确率可达到 80-90%。
利用AI和xR技术实现触诊信息的可视化
[1] F. Mantovani 等人：“面向医疗保健专业人员的虚拟现实培训”，CyberPsychology & Behavior，第 6 卷，第 4 期，第 389–395 页，网址：https://doi.org/10.1089/10949310332 2278772，2003 年。[2] S. Barteit 等人：“用于医学教育的增强、混合和基于虚拟现实的头戴式设备：系统评价”，JMIR Serious Games，第 9 卷，第 3 期，网址：https://doi.org/10.2196/29080，2021 年。[3] S. La Padula 等人：“使用新的增强现实模拟软件对隆胸患者满意度进行评估：一项前瞻性研究”，J Clin Med., 第 11 卷，第 12 期，doi:10.3390/jcm11123464，2022 年。[4] A. Berton 等人：“虚拟现实、增强现实、游戏化和远程康复：对骨科患者康复的心理影响”，临床医学杂志，第 9 卷，第 8 期，第 1-13 页，网址：https://doi.org/10.3390/jcm9082567，2020 年。[5] T. Ong 等人：“在新冠疫情期间及之后使用扩展现实增强远程医疗：观点”，JMIR Serious Games，第 9 卷，第 3 期，网址：https://doi.org/10.2196/26520，2021 年。[6] L. Herrador Colmenero 等人：“镜像疗法、运动意象和虚拟反馈对截肢后幻肢痛的有效性：系统评价”，国际假肢和矫形器，第 42 卷，第 3 期，第 288-298 页。网址：https://doi.org/10.1177/0309364617740230，2018 年。[7] M. Osumi 等人：“虚拟现实康复缓解幻肢痛的特征”，《疼痛医学》（美国），第 20 卷，第 5 期，第 1038-1046 页，网址：https://doi.org/10.1093/pm/pny269，2019 年。[8] A. Rothgangel 和 R. Bekrater-Bodmann：“镜像疗法与增强/虚拟现实应用：面向基于机制的定制幻肢痛治疗”，《疼痛管理》，第 9 卷，第 2 期，第 151-159 页，网址： https://doi.org/10.2217/pmt-2018-0066，2019 年。[9] CC Berger 等人：“触觉的恐怖谷”，Science Robotics，第 3 卷，第 17 期，第 2-4 页，网址：https://doi.org/10.1126/scirobotics.aar7010，2018 年。[10] M. D'Alonzo 等人：“视觉和触觉的不同虚拟化水平产生了化身手部体现的恐怖谷”，Scientific Reports，第 9 卷，第 1 期，第 1-11 页，网址：https://doi.org/10.1038/s41598-019-55478-z，2019 年。[11] M. Fleury，等人：“脑机接口和神经反馈中触觉反馈使用情况调查”，Frontiers in Neuroscience，14（6 月），第 1-16 页。网址：https://doi.org/10.3389/fnins.2020.00528，2020 年。[12] J. Tompson 等人：“使用卷积网络实时连续恢复人手姿势”，ACM Transactions on Graphics (ToG)，第 33 卷，第 5 期，第 1-10 页，2014 年。[13] C. Qian 等人：“实时且稳健的深度手部跟踪”，IEEE 计算机视觉与模式识别会议论文集，DOI：10.1109/CVPR.2014.145，2014 年。
可穿戴机器人的伦理、法律和社会影响分类：专家观点
可穿戴机器人（WR），包括机器人外骨骼和矫形器，是一种新兴技术，旨在增强、训练或补充运动功能（Greenbaum 2015a）。这些设备是人类运动功能的组成部分，由典型的硬件（执行器和传感器）和软件（控制算法）组件构成（CA16116 2017）。它们通常穿在衣服外面，是“本质上具有拟人性质的机械设备，‘穿戴’时与用户身体紧密贴合，并与操作者的动作协同工作”（Dollar and Herr 2008；Herr 2009）。然而，它们与人类的互动并不完全是身体上的；它“还包括认知方面……[因为]功能的控制通常由人和机器共享”（CA16116 2017；Pons 2010）。鉴于 WR 与其用户之间的密切联系，WR 可能会对用户及其社会环境产生重大影响，并引发有关数据保护、安全、责任、健全主义和身份等问题。本文为更全面地考虑此类道德、法律和社会 (ELS) 问题奠定了基础。在专家咨询和文献综述的基础上，我们的目标是提供与 WR 最相关的 ELS 问题的分类。虽然其中一些 ELS 问题与其他类型的机器人和信息技术相同，但 WR 独特的功能组合引发了特定的问题。例如，可穿戴计算（如健身追踪器、智能手表或头戴式显示器）也是体载设备并且与人类“密不可分”（Mann 2012），但缺乏 WR 对运动功能的直接影响。社交机器人是与用户进行社交互动的外部设备，无需穿戴，假肢代替而不是支持肢体功能。然而，值得注意的是，假肢也被理解为假肢（Bergamasco 和 Herr 2016，第 1876 页）。研究假肢特定 ELS 问题的必要性也源于其广泛的潜在应用。康复机器人旨在补充身体功能以达到基本水平，而增强机器人旨在增强身体功能，使其超越所谓的“平均”水平（Herr 2009）。尽管康复和增强之间的界限是流动的，但康复是医疗保健的主要目标，而增强是假肢在工业、军事和休闲/体育应用中的主要目标。这些设备在不同领域的设计和实施需要指导和监管，不仅涉及技术和安全方面，还涉及个人、人际和更广泛的社会影响。尽管关于 WR 中的 ELS 问题的文献不断增多，但还处于早期阶段（例如 Bulboacă 等人 2017 年；Sadowski 2014 年），且对相关问题的涵盖并不均衡。尤其是与该领域以人为本和以用户为中心的设计有关的文献，往往侧重于技术，缺乏对 ELS 问题的更深入思考（例如 Contreras-Vidal 等人，2015 年；Meyer 等人，2019 年；Power 等人，2019 年）。欧洲目前的指导和法规主要包括工业和护理机器人的标准（国际机器人组织
尼古拉斯·贾奇
我们通过所有感官感知世界。原因有很多，对吧？部分原因是视觉界面性价比最高。视觉界面很容易实现，人们已经习惯了视觉，视觉界面也是多年来不断发展的。另外部分原因是惯性，人们会固守过去行之有效的方法，这是一种基本的人性。如果目前所做的事情已经行之有效，人们就会拒绝尝试新事物。这让我想到了我的最后一个立场，即立场 5，它认为“行之有效”已经不再适用。我们的可视化需要采用新的生物启发方法来传达信息，基于大脑如何使用多感官输入和输出，我们已经讨论过的事情，这也是经常被讨论的事情，很多人都会这么说，而且有很多已知的好处。我们已经讨论过一些，还有很多其他的，但现实是，在已经完成的工作和这些可视化技术如何发展方面几乎没有任何实际进展。当我写这篇文章时，这让我想起了我的祖母。当我含糊其辞或不做某事时，祖母会告诉我，“尼基！做你自己的事，否则就滚蛋吧！”我想她不会喜欢我代表她的声音。不管怎样，这是一个很好的观点。我正在听，奶奶。这就是我试图发表这种演讲并传播信息的原因。可视化领域有一些非常有前途的工具，它们正在做我所说的事情，特别是增强现实和虚拟现实。这里有很多变体。你可以用很多不同的方式来做到这一点。该技术可以使用显示器、头戴式显示器、洞穴，还可以使用 AR 眼镜，但该技术在可视化方面的总体优势在于它们基于 3D 模拟，具有高度沉浸感，允许 3D（三维用户移动和交互），并且支持建模和模拟任何类型的多维数据。这真的是一件大事，我对这项技术特别兴奋，因为它终于从纯视觉界面转向使用多模态信息，这很重要，因为从历史上看，虚拟现实是视觉现实和视觉模拟的同义词。如果你身处 VR 世界，你得到的就是视觉的东西，但现在这种情况正在改变，例如，我们的 VR 系统开始使用空间化音频，因此你可以在 3D 空间中听到来自周围的声音，它们使用触摸和触觉，它们使用温度或虚拟温度变化。他们甚至在模拟中使用味觉和嗅觉，所以这很重要，很有益处。这意味着，通过使用这些提示，你不仅可以增加 VR 的包容性，让那些看不见或无法使用它的人也能使用它，而且你还可以大大提高真实感和对每个人的影响，因为我们现在终于可以模拟大脑如何在这些多模式界面中接收和处理信息。最重要的是，VR 和 AR 都已在许多不同领域用于一些非常出色的可视化，我认为，人们越来越关注超越视觉界面，这对未来的可视化来说非常有希望。我认为这是特别重要的事情。好的，我将通过快速讨论我实验室中基于多模式、生物启发可视化的一项研究来结束，我想谈论很多项目，但我有时间只谈一个，我做这个是因为我认为它特别重要。因此，目前，仅在美国就有超过 1200 万人患有某种形式的未矫正视力丧失，而全世界这一数字则激增至 2.8 亿人，因此我们谈论的不是一个很小的群体，而是——其中大多数人在获取视觉图形方面存在很大困难，因为目前没有简单的方法可以非视觉地制作或传达图形内容。所以我们的目标是说，“好吧，我们如何才能开发新的多模式可视化”技术，基于“我们正在讨论的很多东西，可以用于所有类型的 STEM 领域？”因此，我们的解决方案使用智能设备的触摸屏，因此手机和平板电脑可以而全球有 2.8 亿人，所以我们说的不是一个很小的群体，而是——大多数人很难理解视觉图形，因为目前没有简单的方法可以非视觉地制作或传达图形内容。所以我们的目标是说，“好吧，我们如何才能开发新的多模式可视化”技术，基于“我们正在讨论的很多东西，可以用于所有类型的 STEM 领域？”所以我们的解决方案使用智能设备的触摸屏，因此手机和平板电脑而全球有 2.8 亿人，所以我们说的不是一个很小的群体，而是——大多数人很难理解视觉图形，因为目前没有简单的方法可以非视觉地制作或传达图形内容。所以我们的目标是说，“好吧，我们如何才能开发新的多模式可视化”技术，基于“我们正在讨论的很多东西，可以用于所有类型的 STEM 领域？”所以我们的解决方案使用智能设备的触摸屏，因此手机和平板电脑