XiaoMi-AI文件搜索系统
World File Search System触觉的
音频焦点：交互式空间声音与触觉相结合，以改善能见度低下的声源定位
为了简化人力资源管理并降低成本，现在越来越多的控制塔被设计为远程控制，而不是直接植入机场。这个概念被称为远程控制塔，它提供了一种“数字”工作环境，因为跑道上的视图是通过位于实际机场的摄像头远程广播的。这为研究人员和工程师提供了开发新颖交互技术的可能性。但这项技术依赖于视觉，视觉主要用于向操作员提供信息和交互，而现在视觉已经变得超负荷。在本文中，我们专注于设计和测试依赖于人类听觉和触觉的新型交互形式。更准确地说，我们的研究旨在量化基于空间声音和振动触觉反馈的多模态交互技术对改善飞机定位的贡献。应用于远程塔环境，最终目的是增强空中交通管制员的感知并提高安全性。在模拟环境中，通过涉及 22 名空中交通管制员，比较了三种不同的交互模式。实验任务是通过两种可见性条件，利用听觉和触觉定位不同空域位置的飞机。在第一种模式（仅空间声音）中，声源（例如飞机）具有相同的放大系数。在第二种模式（称为音频焦点）中，
虚拟和增强现实的皮肤综合接口（Adv。Funct。Mater。39/2021）
触觉技术涉及使用电气或机械手段来刺激皮肤中的传入神经或机械感受器，作为产生物理触摸感觉的基础，这些感觉可以在定性地扩大虚拟或增强现实体验，而不是仅由视觉和听觉提示支持的经验。在该领域的一个新兴方向涉及平台的开发，这些平台不仅在指尖，而且对人体的任何和所有区域都为皮肤提供时空模式，并使用对用户造成可忽略的物理负担的薄，皮肤般的技术。本综述强调了这种类型的皮肤接口的生物学基础，以及在这个雄心勃勃的目标的背景下，触觉的最新进展，包括电动性和颤振效果设备，这些设备支持具有皮肤融合界面的潜在形式的触摸感感知。内容包括讨论将这些刺激器集成到可编程阵列中的方案，重点是可扩展的材料和设计，这些材料和设计有可能支持皮肤大面积的软接口。总结部分总结了该领域成功研究工作的潜在后果，以及材料科学和工程学中的重要多学科挑战和相关的研究机会。
使用具有触觉传感的灵巧手指的可变形线性对象
摘要 - 关于可变形线性对象（DLO）操纵的大多数研究都假定刚性抓握。然而，除了刚性的抓握和重新抓紧之外，在掌握的范围之外，人类也是人类使用敏捷操纵DLOS的重要技能，它需要通过握住DLO来防止其掉落的同时通过手动滑动来连续更改抓握点。在没有使用专门设计但不是多功能的最终效果的情况下，实现这种技能对于机器人来说非常具有挑战性。以前的作品尝试使用通用的平行抓地力，但是由于关注和持有之间的冲突，它们的稳健性并不令人满意，这很难与一级自由的抓手保持平衡。在这项工作中，受到人类如何使用手指跟随DLOS的启发，我们探索了具有触觉感知的通用灵巧的手的用法，以模仿人类的技能并获得强大的DLO跟随。为了使硬件系统能够在现实世界中运行，我们开发了一个框架，其中包括笛卡尔空间手臂控制，基于触觉的In-Hand-hand 3-D DLO姿势估计以及特定于任务的运动设计。实验结果证明了我们方法比使用平行抓手的显着优势，以及它的稳健性，可推广性和效率。
课程vitae -yang Zhang
螨虫杰出纸奖，ACM IMWUT 2024。观看嘴的荣誉奖，ACM Chi 2024。Forceight演示荣誉奖，ACM UIST 2022。手工接口的荣誉奖，ACM CHI 2022。杰出的光丝纸奖，ACM IMWUT 2021。fibrosight ++的决赛入围者，由2021年设计奖快速公司创新。Wireality的最佳纸张奖，ACM CHI 2020。荣誉提及2020年设计奖Actitouch，快速公司创新。荣誉奖奖学金是姿势吸引笔+触摸互动，ACM CHI 2019。Interferi荣誉奖，ACM CHI 2019。荣誉提及2019年设计奖纸浆，快速公司创新。Wall ++的最佳纸张奖，ACM Chi 2018。荣誉提名奖励奖，ACM UIST 2018。Lumiwatch的决赛入围者，2018年设计奖快速公司创新。高通创新奖学金获奖者，2017年。合成传感器的决赛入围者，2017年设计奖快速公司创新。Skintrack荣誉奖，ACM Chi 2016。人们选择Skintrack的最佳谈判，ACM Chi 2016。最佳的短纸，用于量化屏幕上静电触觉的好处，ACM为2015年。
触觉增强的辐射场 - CVF Open Access
我们提出了一个场景表示形式，我们称之为触觉的辐射场（TARF），它将视觉和触摸带入共享的3D空间。此表示形式可用于估计场景中给定3D位置的视觉和触觉信号。我们从一系列照片和稀疏采样触摸探针中捕获了场景的tarf。我们的方法利用了两个见解：（i）基于常见的触摸传感器建立在普通摄像机上，因此可以使用多视图几何形状中的方法对图像进行注册，并且（ii）在视觉和结构上相似的场景区域具有相同的触觉效果。我们使用这些见解将触摸信号注册到捕获的视觉场景中，并训练有条件的扩散模型，该模型带有从神经辐射场呈现的RGB-D图像，生成其相应的触觉信号。为了评估我们的方法，我们收集了一个TARF的数据集。此数据集比预先持有的现实世界数据集包含更多的触摸样本，并且为每个捕获的触摸信号提供了空间对齐的视觉信号。我们揭示了跨模式生成模型的准确性以及在下游任务上捕获的视觉效果数据的实用性。项目页面：https：// dou- yiming.github.io/tarf。
利用AI和xR技术实现触诊信息的可视化
[1] F. Mantovani 等人：“面向医疗保健专业人员的虚拟现实培训”，CyberPsychology & Behavior，第 6 卷，第 4 期，第 389–395 页，网址：https://doi.org/10.1089/10949310332 2278772，2003 年。[2] S. Barteit 等人：“用于医学教育的增强、混合和基于虚拟现实的头戴式设备：系统评价”，JMIR Serious Games，第 9 卷，第 3 期，网址：https://doi.org/10.2196/29080，2021 年。[3] S. La Padula 等人：“使用新的增强现实模拟软件对隆胸患者满意度进行评估：一项前瞻性研究”，J Clin Med., 第 11 卷，第 12 期，doi:10.3390/jcm11123464，2022 年。[4] A. Berton 等人：“虚拟现实、增强现实、游戏化和远程康复：对骨科患者康复的心理影响”，临床医学杂志，第 9 卷，第 8 期，第 1-13 页，网址：https://doi.org/10.3390/jcm9082567，2020 年。[5] T. Ong 等人：“在新冠疫情期间及之后使用扩展现实增强远程医疗：观点”，JMIR Serious Games，第 9 卷，第 3 期，网址：https://doi.org/10.2196/26520，2021 年。[6] L. Herrador Colmenero 等人：“镜像疗法、运动意象和虚拟反馈对截肢后幻肢痛的有效性：系统评价”，国际假肢和矫形器，第 42 卷，第 3 期，第 288-298 页。网址：https://doi.org/10.1177/0309364617740230，2018 年。[7] M. Osumi 等人：“虚拟现实康复缓解幻肢痛的特征”，《疼痛医学》（美国），第 20 卷，第 5 期，第 1038-1046 页，网址：https://doi.org/10.1093/pm/pny269，2019 年。[8] A. Rothgangel 和 R. Bekrater-Bodmann：“镜像疗法与增强/虚拟现实应用：面向基于机制的定制幻肢痛治疗”，《疼痛管理》，第 9 卷，第 2 期，第 151-159 页，网址： https://doi.org/10.2217/pmt-2018-0066，2019 年。[9] CC Berger 等人：“触觉的恐怖谷”，Science Robotics，第 3 卷，第 17 期，第 2-4 页，网址：https://doi.org/10.1126/scirobotics.aar7010，2018 年。[10] M. D'Alonzo 等人：“视觉和触觉的不同虚拟化水平产生了化身手部体现的恐怖谷”，Scientific Reports，第 9 卷，第 1 期，第 1-11 页，网址：https://doi.org/10.1038/s41598-019-55478-z，2019 年。[11] M. Fleury，等人：“脑机接口和神经反馈中触觉反馈使用情况调查”，Frontiers in Neuroscience，14（6 月），第 1-16 页。网址：https://doi.org/10.3389/fnins.2020.00528，2020 年。[12] J. Tompson 等人：“使用卷积网络实时连续恢复人手姿势”，ACM Transactions on Graphics (ToG)，第 33 卷，第 5 期，第 1-10 页，2014 年。[13] C. Qian 等人：“实时且稳健的深度手部跟踪”，IEEE 计算机视觉与模式识别会议论文集，DOI：10.1109/CVPR.2014.145，2014 年。
假肢手控制视角：从大脑到手
摘要：人类的手是一个复杂而多功能的器官，它使人类能够与环境互动、交流、创造和使用工具。大脑对手的控制是人类认知和行为的一个重要方面，但也是神经科学和工程学面临的一个挑战性问题。本研究的目的是从神经科学的角度回顾手和抓握控制的当前最新技术，重点关注手控制感觉整合背后的大脑机制以及开发可以模仿和与人脑交互的假手的工程意义。大脑通过使用不同的神经通路处理和整合来自视觉、本体感觉和触觉的感觉信息来控制手。可以使用不同的接口（例如肌电图、神经电图和脑电图）来获取用户控制假手的意图。这种和其他感官信息可以通过不同的学习机制来利用，这些机制可以帮助用户适应感官输入或输出的变化，例如强化学习、运动适应和内部模型。本研究总结了手部和抓握控制研究各个方面的主要发现和挑战，并强调了当前方法的差距和局限性。在最后一部分，通过强调需要一种能够弥合大脑和手部之间差距的神经科学方法，提出了手部和抓握控制研究的一些未解决的问题和未来方向。
通过脑电图 (EEG) 频谱对织物触觉刺激进行神经感知辨别
在神经科学领域，对织物与皮肤相互作用过程中的感觉知觉的精确评估仍然知之甚少。本研究旨在通过脑电图 (EEG) 光谱强度研究不同纺织品对织物刺激的皮质感觉反应，并评估 EEG 频带、传统主观问卷和材料物理性质之间的关系。招募了 12 名健康成年参与者来测试三种不同纺织品成分的织物，这三种织物分别为 1) 棉、2) 尼龙和 3) 涤纶和羊毛。通过织物触感测试仪 (FTT) 定量评估织物的物理性质。邀请受试者通过主观问卷和客观 EEG 记录对织物样品的感觉知觉进行评分。对于不同的织物刺激，EEG 的 Theta 和 Gamma 波段相对光谱功率存在显著差异（P < 0.05）。 Theta 和 Gamma 能量与问卷调查的大多数主观感觉以及 FTT 测量的织物物理特性具有显著相关性（P < 0.05）。EEG 频谱分析可用于区分不同纺织成分的织物刺激，并进一步指示织物刺激过程中的感觉知觉。这一发现可为进一步通过 EEG 频谱分析探索性研究感觉知觉提供依据，可应用于未来假肢中皮肤触觉的大脑发生器的研究以及工业中感觉知觉的自动检测。
对脑电图刺激（EEG）光谱的织物触觉刺激的神经感知性歧视
在神经科学中，对织物皮肤相互作用期间感觉知觉的精确评估仍然很少。本研究旨在通过脑电图（EEG）光谱强度研究对织物刺激的皮质感觉反应，并评估EEG频带，传统的主观问题汇总和材料的物理特性之间的关系。招募了十二名健康的成年参与者，以测试三种具有不同纺织品组成的织物1）棉花，2）尼龙和3）聚酯和羊毛。通过织物触摸测试仪（FTT）定量评估织物的物理特性。邀请受试者通过主观问卷和客观的脑电图记录来评估织物样品的感觉知觉。响应于不同的织物刺激而获得了theta和伽马条带的脑电图和伽马条带的显着差异（p <0.05）。theta和伽马力表现出与问卷评估的大多数主观感觉和FTT织物的物理特性（p <0.05）的相关性。EEG光谱分析可以用于歧视不同纺织品组成的织物刺激，因此表明织物刺激过程中的感觉感知。这一发现可能为通过EEG光谱分析提供进一步探索感知感知的证据，这可以应用于对未来假体中皮肤触觉的脑发生者的研究以及对行业中感觉知觉的自动检测。
近视自行车和打招呼：与近视患者共情的游戏
近视是一种常见的视力问题，患者能清楚看清近处的物体，但看远处的物体却模糊不清 [29]。近视是由于眼球形状导致光线弯曲（折射）不正确，使图像聚焦在视网膜前方而不是视网膜上 [29]。一般来说，低度近视小于 3.0 屈光度（<-3.0 D），中度近视小于 6.0 屈光度（-3.0 D 至 -6.0 D），高度近视通常大于 6.0 屈光度（>-6.0 D）。近视是全世界最常见的眼部问题之一。例如，中国约有 6 亿居民患有近视 [53]，美国有 4% 的人口患有高度近视 [41]。对于非近视人群来说，通常很难体会不同程度的近视，因此，很难感受到近视患者的痛苦和不适[4]。我们认为，缺乏对近视人群的同理心可能会导致在为近视人群设计产品时考虑不周，并无意中造成可访问性问题。最近，虚拟现实（VR）游戏作为一种以非评判性但引人入胜和有趣的方式培养同理心的媒介显示出巨大的潜力[39]。VR 可以为玩家提供具象的第一人称视角，通过使用虚拟环境来体验不同严重程度的近视[2]。与手机或显示器上的传统显示不同，VR 为用户提供了深度体验，在这种不存在的场景中带来最多的基于视觉而非触觉的反馈[26]，这对患者体验的同理心有益，有利于情景模拟和沉浸式体验。