1 香港理工大学生物医学工程学系,香港 999077;jayce.zhang@connect.polyu.hk (JZ);yanhuan.huang@connect.polyu.hk (YH);19073922r@connect.polyu.hk (FY);bibo.yang@polyu.edu.hk (BY) 2 国家北京康复辅具研究中心,老年残疾康复辅具北京市重点实验室,北京 100176,中国; lizengyong@nrcrta.cn 3 香港理工大学行为及系统神经科学大学研究中心(UBSN),香港 999077,中国 4 香港理工大学深圳研究院,深圳 518000,中国 5 香港理工大学智能老龄化研究所(RISA),香港 999077,中国 * 通讯地址:xiaoling.hu@polyu.edu.hk;电话:+852-3400-3206
摘要:卷积神经网络(CNN)可以自动从压力信息中学习特征,一些研究应用了CNN来识别触觉形状。但是,传感器的有限密度及其功能需求导致所获得的触觉图像具有低分辨率和模糊。为了解决这个问题,我们提出了双线性功能和多层融合卷积神经网络(BMF-CNN)。功能的双线性计算提高了网络的特征提取能力。同时,多层融合策略利用了不同层的互补性来增强特征利用率的效率。为了验证所提出的方法,构建了一个带有复杂边缘的26类字母触觉图像数据集。BMF-CNN模型达到了98.64%的触觉形状精度。结果表明,与传统的CNN和人工特征方法相比,BMF-CNN可以更有效地处理触觉形状。
摘要 - 在基于学习的接触任务中,由于演示数据有限以及培训和部署条件之间的差距,仔细的力控制对于适应环境变化至关重要。这在擦拭任务中尤其重要,因为操纵柔软和可变形的物体(例如,海绵),在擦拭表面高度和海绵特性中,需要适应力的适应力。为了解决此问题,我们介绍了一种将实时触觉反馈与预训练的对象表示结合的方法,从而使机器人能够适应未看到的表面高度和对象属性。在实际硬件上进行了测试,该方法通过分析力轨迹,展示了适应性的显着进步,成功地适应了操纵环境的变化。索引术语 - 摄像模仿学习,基于力的接触 - 富含富含力的操纵,对象表示
在本研究中,我们创建了一个具有两种刺激类型的 8 命令 P300 触觉 BCI,在经过少量改动的消费者盲文显示器上运行,并在 10 名盲人和 10 名视力正常者身上进行了测试。盲人受试者的准确率中位数比视力正常者高 27%(p < 0.05),证明盲人受试者不仅能够使用触觉 BCI,而且还能取得优于视力正常者的效果。具有最佳刺激类型的盲人组的准确率中位数达到了 95%。组间事件相关电位的差异位于刺激后 300 毫秒之前的额中部位点,与早期认知 ERP 成分相对应。盲人的 ERP 幅度更高、延迟更短。这个结果在不同触觉刺激的实验条件下都是一致的。盲人的分类表现与盲文阅读速度相关。这使得我们能够讨论视力丧失后感觉补偿过程中的可塑性变化机制及其对个人感知经验的依赖性。
自闭症谱系障碍(以下称为自闭症)是最常见的神经发育状况之一,影响了大约1%的世界人群[1]。据估计,超过90%的自闭症个体表现出非典型的感觉反应性[2]。对外部刺激的超反应性或性能不反应的形式的非典型感觉反应性是自闭症中的基本预定。在感觉域中,非典型触觉反应性(TR)是一种常见的预言,早期出现,一直持续到成年,并不利地影响社会互动和日常功能,从而显着有助于整体残疾[3,4]。自闭症护理和临床研究未来的国际委员会将感觉领域确定为可能影响自闭症中护理和结果的最佳临床研究优先事项之一[5]。我们聘请了参加我们专业自闭症诊所的自闭症成年人,并收到了一致的反馈,即这是一个很大的未满足需求的高优先级领域。在行为上,触觉性低反应性和过度反应性都在相同的连续体上,反映了相同的基本生物学过程,在这种生物学过程中,低反应性是应对过度刺激的应对机制[6]。触觉加工的神经生理学研究[4,6]以及自闭症原发性皮质(S1)中兴奋性和抑制性代谢产物的神经图像研究仍然不一致且不确定[7,8];因此,大脑过程为非典型TR提供了生物逻辑干预措施仍然难以捉摸。融合证据表明自闭症的神经生物学的特征是非典型可塑性。自闭症的丙戊酸动物模型的关键见解是,过度的长期增强(LTP)可塑性或超塑性对行为产生不利影响[9-11]。超塑性[11]。S1是否具有过度塑性的特征,在自闭症人类中可能是非典型TR的基础,这是未知的。使用经颅磁刺激(TMS)[12-15]在人类运动中始终观察到更直接的过塑性证据[16]。我们的小组复制了自闭症成年人运动皮质中超塑性的发现[15]。作为干预的基础,我们还使用重复的经颅杂志刺激(RTMS)方案收集了试点数据,旨在增强抑制机制,从而降低了自闭症成年人的过度塑性性[15]。在我们先前发表的研究[15]中,我们进行了一项随机试验,涉及29名自闭症成年人。将参与者分配(1:1)进行一次活动或假RTM的一次疗程,在20Hz处施加6,000个脉冲,tar-获得运动皮层。结果表明,活性RTM对长期增强(LTP)的效果很大,在RTMS之后的第二天,LTP降低了。这种过度塑性的减小与自闭症的神经元激发/抑制(E/I)模型的改变相一致[17]。根据该模型,自闭症中观察到的超塑性与E/I比的增加有关,促进抑制可能有助于观察到的减少。使用20 Hz RTM的理由主要基于我们小组的先前研究,这表明与早期的惯例相反,仅频率并不能决定RTMS的兴奋性或抑制作用。,“剂量”或刺激的数量
空间注意力的机制优先考虑与其他位置相对于其他位置的感官信息。这些机制已通过多种方法进行了深入的研究,包括心理物理学,事件型大脑电位,功能成像和单细胞记录(例如,参见Parasuraman,1998年,有关所有这些方法的发现)。这项工作导致了许多可复制的发现和一些重要的区别。的秘密关注转移(例如Mangun,Hillyard和Luck,1993; Posner,1978)。刺激驱动的外源机制已与预期驱动的内源性机制区分开来(例如Hopfinger&Mangun,1998; Jonides,1981; Posner,1978)。通常通过使用空间非预测的外围提示来研究前者,后者通过中央提示或指示可能目标位置的指令进行研究。两种形式的提示都可以在提示的位置带来性能优势,但是外源和内源性机制被认为在几种方面有所不同,包括其效果的时间过程(例如,外源性效应通常更短暂地遵循
在交互式触觉系统中,“表面”既是触摸的支持,也是图像的支持。虽然触摸表面的厚度、形状和硬度已逐渐发生改变,但其交互方式仍然像第一批设备一样,仅限于用手指以简单的手势接触屏幕,假装操纵显示的内容。触觉,即使对于集成到航空或汽车等关键系统中的触觉设备,仍然基本上作为视觉的延伸,用于指向和控制。虽然感知现象学、生态感知和有形与具身交互的理论都承认身体、运动技能和与环境的交互在感知现象中的重要性,但继续将视觉视为触觉交互的首要感觉似乎有些简单化。
全世界数百万人因中风,脊髓损伤,多发性硬化症,脑损伤,糖尿病和运动神经元疾病(如ALS)(肌萎缩性横向硬化症)而遭受运动或感觉障碍。将大脑直接连接到计算机的脑部计算机界面(BCI)提供了一种研究大脑并可能恢复患有这些衰弱状况的患者的障碍的新方法。然而,当前面临的BCI技术面临的挑战之一是在维持效率的同时最大程度地降低手术风险。微创技术,例如立体电脑摄影(SEEG),在癫痫患者的临床应用中已更广泛地使用,因为它们会导致并发症较少。SEEG深度电极还可以进入大脑的沟和白质区域,但尚未在脑部计算机界面中进行广泛研究。在这里,我们展示了与人手中的运动和触觉相关的沟和皮质下活性的第一个演示。此外,我们已经将基于SEEG的深度记录中的解码性能与用电视造影电极(ECOG)获得的分解性能进行了比较。最初的解码性能和观察到大多数神经调节模式在振幅试验到审判中的变化而变化,并且是短暂的(比研究的持续纤维运动的持续性纤维运动的差异明显短),导致基于使用时间相关的可重复性指标的特征选择方法的开发。开发了一种基于时间相关的算法,以隔离始终重复的特征(准确解码所需)并具有与运动或触摸相关刺激有关的信息内容。随后,我们使用这些功能以及深度学习方法来自动对具有高精度的单个纤维的各种电动机和感官事件进行分类。
随着个性化医疗保健1-3的迅速发展,虚拟现实(VR) /增强现实(AR)4-6和类人形机器人7-9,光学触觉传感器由于其高剂量,高精度,快速响应,快速响应和反电磁干扰10-14引起了密集的关注。通常,光学触觉传感器由光源,包装的传感元素和检测器组成。通过监视使用二氧化硅光纤15-18,聚合物光导导/纤维19-22,19-22,水凝胶光纤23-25和光学微米(226)26 222的2222,通过监视大量高性能触觉传感器的变化,谐振峰或干扰峰的变化,已证明了大量的高性能触觉传感器。中,MNF具有出色的光学和质量特性,包括强烈的逃生场,低光学损失,波长尺度直径,小弯曲 -
摘要本研究介绍了使用双向和自动回归变压器(BART)和向量量化的变分自动编码器(VQ-VAE)的文本条件触觉图形生成模型的开发。该模型利用了潜在空间的修改组织,分为两个独立的组件:文本和图形。该研究通过使用自定义样本扩展培训数据集来解决触觉图形样本有限的挑战,从而增强了模型将文本信息转换为图形表示的能力。提出的方法改善了视障人士的触觉图形创建,从而在合成的触觉图形中提供了增加的可变性,可控性和质量。这一进步增强了包容性教育材料生产过程的技术和经济方面。