我们提出了一个场景表示形式,我们称之为触觉的辐射场(TARF),它将视觉和触摸带入共享的3D空间。此表示形式可用于估计场景中给定3D位置的视觉和触觉信号。我们从一系列照片和稀疏采样触摸探针中捕获了场景的tarf。我们的方法利用了两个见解:(i)基于常见的触摸传感器建立在普通摄像机上,因此可以使用多视图几何形状中的方法对图像进行注册,并且(ii)在视觉和结构上相似的场景区域具有相同的触觉效果。我们使用这些见解将触摸信号注册到捕获的视觉场景中,并训练有条件的扩散模型,该模型带有从神经辐射场呈现的RGB-D图像,生成其相应的触觉信号。为了评估我们的方法,我们收集了一个TARF的数据集。此数据集比预先持有的现实世界数据集包含更多的触摸样本,并且为每个捕获的触摸信号提供了空间对齐的视觉信号。我们揭示了跨模式生成模型的准确性以及在下游任务上捕获的视觉效果数据的实用性。项目页面:https:// dou- yiming.github.io/tarf。
摘要 - 尽管垃圾箱是机器人操纵的关键基准任务,但社区主要集中于将刚性直线物体放置在容器中。我们通过呈现一只软机器人手,结合视力,基于运动的本体感受和软触觉传感器来识别,排序和包装未知物体的流。这种多模式传感方法使我们的软机器人操纵器能够估计物体的大小和刚度,从而使我们能够将“包装好容器”的不定定义的人类概念转化为可实现的指标。我们通过逼真的杂货包装场景证明了这种软机器人系统的有效性,其中任意形状,大小和刚度的物体向下移动传送带,必须智能地放置以避免粉碎精致的物体。将触觉和本体感受反馈与外部视力结合起来,与无传感器基线(少9倍)和仅视觉的基线相比,项目受损的填料操作显着降低(4。少5×)技术,成功地证明了软机器人系统中多种感应方式的整合如何解决复杂的操作应用。
在 2017 年跨部门/行业培训、模拟和教育会议 (I/ITSEC) 上,总结道“大量的训练飞行将耗费大量资金,因此需要更多的模拟”并且“我们需要将模拟提升到前所未有的水平。”
空间注意力的机制优先考虑与其他位置相对于其他位置的感官信息。这些机制已通过多种方法进行了深入的研究,包括心理物理学,事件型大脑电位,功能成像和单细胞记录(例如,参见Parasuraman,1998年,有关所有这些方法的发现)。这项工作导致了许多可复制的发现和一些重要的区别。的秘密关注转移(例如Mangun,Hillyard和Luck,1993; Posner,1978)。刺激驱动的外源机制已与预期驱动的内源性机制区分开来(例如Hopfinger&Mangun,1998; Jonides,1981; Posner,1978)。通常通过使用空间非预测的外围提示来研究前者,后者通过中央提示或指示可能目标位置的指令进行研究。两种形式的提示都可以在提示的位置带来性能优势,但是外源和内源性机制被认为在几种方面有所不同,包括其效果的时间过程(例如,外源性效应通常更短暂地遵循
Stobart补充说,触摸对象时人类在繁忙十字路口的高峰时段的流量就像高峰时段一样。“星形胶质细胞是将信息流向目的地的交通信号灯。当NMDA受体信号在星形胶质细胞中破坏时,就像左转的左转光一样。某些信息流可以通过交叉路口直接继续,但没有左转意味着某些信息无法达到目标。”
我们提出了一种新颖的“混合”活动/被动触觉设备,可以改变形状,以作为VR中一系列虚拟对象的代理。我们将适应性与触觉重新定位一起重定向用户的手重定向,以提供仅使用单个道具触及的几个虚拟对象的触觉反馈。为了评估适应性通过触觉重新定位的有效性,我们进行了一个受试者内实验,采用对接任务将适应性与非匹配的代理对象(即造泡沫球)进行比较和匹配的形状支柱进行比较。在我们的研究中,Adaptic坐在用户前面的桌子上,并改变了grasps之间的形状,为放置在不同虚拟位置中的各种虚拟对象提供匹配的触觉反馈。结果表明幻觉令人信服:用户认为他们正在使用单个自适应设备在不同的虚拟位置操纵几个虚拟对象。与适应性的对接性能(综合时间和精度)与没有触觉重新定位的道具相当。
1 UCL Knowledge Lab, Department of Culture, Communication and Media, IOE, University College London, London, United Kingdom, 2 Augmentation Human Lab, Department of Computer Science, Institute X, Saarland University, Saarbrücken, Germany, 3 Perceptual Intelligence Lab, Human-Centered Design Group, Delft University of Technology, Delft, Netherlands, 4 Ultraleap, Bristol, United Kingdom, 5 Rainbow Lab, INRSA, University of雷恩,雷恩,法国雷恩,6人类技术互动小组,埃因霍温技术大学,荷兰埃因霍温大学,荷兰7号,传播数字技术研究所,文化,传播和社会学院,伊斯特拉·斯维泽拉大学,意大利大学,瑞士,瑞士,瑞士,帕特里斯·帕尔斯·帕尔斯·帕特斯·帕特斯,帕尔斯,帕特斯,帕尔斯,帕尔斯,帕特斯,帕特里斯,帕特斯,大学,,帕特斯,大学,大学,互动小组,数字学会研究所,荷兰特温特特特大学
尽管与其他类型的心理意象相比,触觉意象的研究并不深入,但它对于脑机接口 (BCI) 来说可能非常有用,因为它可以产生 BCI 操作所需的神经调节。在这里,我们通过比较触觉意象 (TI) 对皮质反应的影响与指尖实际振动触觉刺激的影响,评估了与触觉意象 (TI) 相关的神经调节。我们发现 TI 和振动刺激都会引起与事件相关的脑电图 (EEG) 活动频率变化。此外,TI 会影响由短脉冲振动引起的体感诱发电位 (SEP)。收集了 29 名接受过触觉意象任务训练的参与者的 EEG 数据。在有和没有 TI 的情况下测量了对振动脉冲的反应。这些 SEP 由三个主要部分组成:中央顶叶区域的 P100 反应、额叶区域的 P200 反应和中央区域的 P300 反应。 TI 持续导致同侧 P100、同侧和对侧 P300 以及额叶 P200 增加。此外,TI 还增强了额叶区域因振动而发生的 θ 波段 ERS。这些发现表明,TI 不仅会调节 EEG 模式,还会影响皮质对物理体感刺激的处理。这种对真实和想象的躯体感觉的联合处理可用于 BCI,特别是在临床相关的 BCI 中,这些 BCI 致力于通过结合中枢诱导和外周活动来恢复体感处理。
摘要 — 脑机接口 (BCI) 系统为人类与机器交互提供了一种非语言且隐蔽的方式。它们旨在解释用户的大脑状态,并将其转化为行动或用于其他交流目的。本研究调查了基于听觉和触觉注意力开发无需动手和眼睛的 BCI 系统的可行性。向用户呈现多个同时的听觉或触觉刺激流,并指示用户检测某一特定流中的模式。我们应用线性分类器从 EEG 信号中解码流跟踪注意力。结果表明,所提出的 BCI 系统可以使用多感官输入吸引大多数研究参与者的注意力,并显示出在多个会话中进行迁移学习的潜力。