摘要 - 本文解决了在复杂制造环境中实施无标记的增强现实(AR)的挑战。使AR系统更加直观,健壮和适应性是使其在行业中成为可能的必需步骤。在不受控制的现实世界环境中遇到的硬约束中,我们显着面对生产线的动态性质以及在组装过程中对象的不断发展的外观。新兴深度学习(DL)方法启用了6D对象构成移动对象的AR注册的估计。但是,他们需要大量的6D对象构成地面真相数据。在现实世界的情况下,由于两个因素:建立精确的6D姿势标签程序的复杂性是在真实生产线中建立准确的6D姿势标签程序的复杂性,并且在整个组装线上遇到了各种各样的对象状态和外观。因此,有必要开发能够处理看不见的对象的替代6D构成估计技术。为此,本文介绍了一条新的管道,依靠HoloLens 2进行数据捕获,神经辐射场(NERF)进行3D模型生成,以及用于6D姿势估计的Megapose。所提出的方法可以实现6D姿势估计,而无需特定对象的训练或辛苦的姿势标签。
摘要 - 注意力多动障碍(ADHD)是一种神经发育障碍,影响了一定程度的儿童及其生活方式。一种治疗这种疾病的新方法是在整个患者中使用脑部计算机界面(BCI)学会自行自我调节自己的症状。在这种情况下,研究导致了旨在估计对这些界面的关注的工具。同时,虚拟现实(VR)耳机的民主化以及它为多个方面产生有效的环境的事实:安全,灵活和生态上有效,导致其用于BCI应用程序的使用增加。另一点是人工智能(AI)在不同领域的医疗领域越来越发达。在本文中,我们提出了一种创新的方法,目的是从生理信号的测量中估算注意力:脑电图(EEG),凝视方向和头部运动。该框架是为了评估VR环境中的注意力的开发。我们为特征提取和专用的机器学习模型提出了一种新颖的方法。试点研究已应用于一组志愿者,与最先进的方法相比,我们的方法的错误率较低。关键字 - 虚拟现实,机器学习,大脑计算接口,眼睛跟踪
强化学习(RL)通过互动来培训计算模型来解决复杂的决策。但是,由于昂贵或危险错误的高风险,在实地世界环境中的直接培训(例如自动驾驶或医疗程序)通常是不切实际的。因此,RL通常依赖于模拟环境或静态离线数据集。但是,这种依赖引入了一个关键的挑战,称为“现实差距” - 训练条件与现实世界应用中遇到的动态之间的差异。本演示文稿解决了旨在通过增强RL策略的有效性来弥合这一差距的创新策略: - 强大的RL优化:我们深入研究了扰动的战略使用,以优化从模拟器中汲取的政策。这种方法着重于提高这些政策的适应性和鲁棒性,使它们更适合于可变性和意外条件的现实应用程序。- 离线RL优化:进一步的讨论将探讨汉密尔顿 - 雅各比 - 贝尔曼(HJB)方程的应用,作为增强在静态数据集中训练的策略的方法的方法。该技术对于在无法实现与环境的实时互动的情况下改善现实世界的适用性至关重要。
。CC-BY 4.0国际许可证。是根据作者/资助者提供的预印本(未经同行评审认证)提供的,他已授予Biorxiv的许可证,以在2025年1月29日发布的此版本中显示此版本的版权持有人。 https://doi.org/10.1101/2024.06.14.598683 doi:biorxiv Preprint
虚拟现实环境为研究脑机接口 (BCI) 在现实环境中的性能提供了绝佳的机会。由于现实世界的刺激通常是多模态的,它们的神经元整合会引发复杂的反应模式。为了研究额外的听觉提示对视觉信息处理的影响,我们使用虚拟现实来模拟工业环境中的安全相关事件,同时记录脑电图 (EEG) 信号。我们模拟了一个在传送带系统上移动的盒子,其中两种类型的刺激(爆炸和燃烧的盒子)会中断正常操作。来自 16 名受试者的记录分为两个子集,一个是纯视觉实验,另一个是视听实验。在纯视觉实验中,两种刺激的反应模式引发了类似的模式——视觉诱发电位 (VEP),然后是枕叶-顶叶上的事件相关电位 (ERP)。此外,我们发现感知到的事件严重程度反映在信号幅度中。有趣的是,额外的听觉提示对先前的发现产生了双重影响:在爆炸盒刺激的情况下,P1 成分被显著抑制,而燃烧盒刺激下 N2c 则有所增强。这一结果凸显了多感官整合对现实 BCI 应用性能的影响。事实上,我们观察到基于混合特征提取(方差、功率谱密度和离散小波变换)和支持向量机分类器的检测任务的离线分类准确度发生了变化。在爆炸的情况下,与仅视觉实验相比,视听实验的准确度略有下降,为 -1.64%。相反,当存在额外的听觉提示时,燃烧盒的分类准确度增加了 5.58%。因此,我们得出结论,特别是在具有挑战性的检测任务中,当 BCI 应该在(多模态)真实世界条件下运行时,考虑多感官整合的潜力是有利的。
摘要:背景:鉴于VR应用于多个领域,了解晕动症对人类认知和运动技能的影响以及导致晕动症的因素变得越来越重要。本研究旨在探索晕动症的预测因素及其与认知和运动技能的相互作用。方法:30名年龄在20-45岁之间的参与者完成了MSSQ和CSQ-VR,并沉浸在VR中。在沉浸过程中,他们体验了过山车之旅。在乘坐过山车之前和之后,参与者回答了CSQ-VR并执行基于VR的认知和心理运动任务。VR环节结束后,参与者再次完成了CSQ-VR。结果:成年期晕动症易感性是晕动症最突出的预测因素。瞳孔扩张是晕动症的重要预测因素。玩电子游戏的经验是晕动症和认知/运动功能的重要预测因素。晕动症对视觉空间工作记忆和心理运动技能产生负面影响。总体而言,摘下 VR 头戴设备后,晕动症的恶心和前庭症状的强度显著降低。结论:按重要性排序,晕动症易感性和游戏体验是晕动症的重要预测因素。瞳孔扩张似乎是晕动症的生物标志物。晕动症会影响视觉空间工作记忆和心理运动技能。就用户体验而言,晕动症及其对表现的影响应在沉浸过程中而不是沉浸之后进行检查。
摘要 — 目的:开颅手术是切除部分头骨,以便外科医生进入大脑并治疗肿瘤。进入大脑时,组织会发生变形,并可能对手术结果产生负面影响。在这项工作中,我们提出了一种新颖的增强现实神经外科系统,将从 MRI 获得的术前 3D 网格叠加到手术期间获得的大脑表面视图上。方法:我们的方法使用皮质血管作为主要特征来驱动刚性和非刚性 3D/2D 配准。我们首先使用特征提取器网络来生成概率图,并将其输入到姿势估计器网络以推断 6-DoF 刚性姿势。然后,为了解释大脑变形,我们添加了一个非刚性细化步骤,该步骤使用基于物理的约束将其表述为形状模板问题,有助于将变形传播到皮质下水平并更新肿瘤位置。结果:我们在 6 个临床数据集上回顾性地测试了我们的方法,并获得了较低的姿势误差,并使用合成数据集表明可以在皮质和皮质下水平实现相当大的脑移位补偿和较低的 TRE。结论:结果表明,我们的解决方案实现了低于实际临床误差的准确度,证明了我们的系统在实际应用中的可行性。意义:这项工作表明,我们可以使用单个摄像机视图提供通过开颅手术观察到的 3D 皮质血管的连贯增强现实可视化,并且皮质血管为执行刚性和非刚性配准提供了强大的功能。
重复使用权和重印许可:允许免费将本材料用于教育或个人用途,但前提是:1) 不以营利为目的;2) 在副本首页包含此声明和对原始作品的完整引用;3) 不暗示 IEEE 认可任何第三方产品或服务。作者及其公司可以在未经许可的情况下在自己的 Web 服务器上发布 IEEE 版权材料的已接受版本,但前提是 IEEE 版权声明和对原始作品的完整引用出现在已发布副本的第一屏上。已接受的手稿是作者修改以纳入审阅建议的版本,但不是由 IEEE 编辑、校对和格式化的已发布版本。有关更多信息,请访问:http://ww.ieee.org/publications_standards/publications /rights/paperversionpolicy.html。若要出于商业、广告或促销目的重印/重新发布本材料,或创建新的集体作品以供转售或再分发,必须通过写信给 IEEE 知识产权办公室(地址:445 Hoes Lane, Piscataway, NJ 08854-4141 或 pubs-permissions@ieee.org)获得 IEEE 许可。版权所有 © 2025 IEEE。保留所有权利。
摘要 数字化转型已经颠覆了生产管理的各个领域,人力资源管理是生产经理最重要的职责之一。除了产品和工艺设计以及涉及质量和产能的规划和控制问题之外,生产管理还包括组织和监督劳动力的责任。在新的行业运营中,预测人力资源需求并将其转化为招聘和培训计划非常重要,以便培养一批能够胜任安装机械设备的高技能和合格工人。根据相关文献综述,在任何业务流程中集成虚拟和增强现实技术都具有提高员工敬业度和记忆力的潜力。本研究的目的是全面总结如何使用 VR 和 AR 技术作为管理操作系统中人为因素的数字支持。本研究发现,VR 和 AR 可以成功地用于提高工人的生产力、加强员工培训、降低成本、使工作场所更安全以及更有效、更高效地缩小技能差距。这项研究可以鼓励学术界和实践者在特定行业中寻求 VR 和 AR 技术的创新使用,作为节省人力资源管理时间和成本的数字工具。
