在协作机器人技术和智能系统中,人类姿势识别的准确性显着影响人机相互作用的自然性和安全性,将其确立为自动化系统的核心技术(Hernández等,2021; Liu and Wang和Wang,2021)。随着深度学习和计算机视觉的快速发展,姿势识别应用已超越机器人控制和监测,包括增强现实,体育分析和智能监视(Fan等,2022; Desmarais等,2021)。此外,人类姿势分析涵盖了外部传感技术,例如基于视觉的系统和内部传感技术,例如基于可穿戴传感器的方法。这两个范式具有互补的优势,并可以实现广泛的应用。
在发布政策中指定了此版本的手稿的重复使用条款和条件。使用受版权保护的作品需要权利持有人(作者或出版商)的同意。可根据创意共享许可证或发布者的定制许可提供的作品可根据其中包含的条款和条件使用。有关更多信息和条款和条件,请参见编辑网站。此项目是从IrisUniversitàPolitecnicadelle Marche(https://iris.univpm.it)下载的。引用时,请参阅已发布的版本。
该预印本版的版权持有人于2021年6月18日发布。 https://doi.org/10.1101/2021.06.17.448825 doi:Biorxiv Preprint
对准确的3D手姿势估计的追求是理解以自我为中心视力领域的人类活动的基石。大多数现有估计方法仍然依赖单视图像作为输入,从而导致潜在的局限性,例如,深度有限的视野和义务。解决这些问题,添加另一个相机以更好地捕获手的形状是实践方向。然而,现有的多视图手姿势姿势方法具有两个主要缺点:1)重新训练的多视图注释,这些注释是备用的。2)在测试过程中,如果相机参数/布局与训练中使用的相同,则模型将变为inpapplicable。在本文中,我们提出了一种新颖的单算观看改编(S2DHAND)解决方案,该解决方案将预先训练的单视估计器适应双视图。与现有的多视图训练方法相比,1)我们的适应过程是无监督的,消除了对多视图注释的需求。2)此外,我们的方法可以处理带有未知相机参数的Arbitarary双视图对,从而使该模型适用于不同的相机设置。具体来说,S2DHAND建立在某些立体声约束上,包括两种视图之间的成对跨视图共识和转换的不变性。这两个立体声约束以互补的方式使用来进行伪标记,从而允许可靠的适应性。评估结果表明,在内部和跨数据库设置下,S2DHAND在任意摄像机对上实现了重大的实现,并且胜过具有领先性能的现有适应方法。项目页面:https://github.com/ut-vision/s2dhand。
摘要:跟踪在协作机器人附近工作的人类操作员可以改善安全体系结构,人体工程学的设计以及在人与机器人协作场景中执行汇编任务。使用了三个商业空间计算套件及其软件开发套件,可提供各种实时功能来跟踪人类姿势。本文探讨了结合不同硬件系统和软件框架功能的可能性,这些功能可能会导致在协作机器人应用中检测人姿势的更好的性能和准确性。本研究在六个深度水平上评估了他们的性能,并比较了原始数据和降噪的过滤数据。此外,将激光测量设备用作地面真相指标,以及平均均方根误差作为误差度量。根据位置准确性和可重复性进行了分析并比较所获得的结果,表明传感器的性能在跟踪距离上的依赖性。使用基于卡尔曼的过滤器融合了人类骨架数据,然后考虑其在不同距离区域的性能,重建操作员的姿势。结果表明,在小于3 m的距离下,Microsoft Azure Kinect显示出更好的跟踪性能,其次是Intel Realsense D455和Stereolabs Zed2,而在范围高于3 m的范围内,ZED2的跟踪性能出色。
摘要:姿势污点,例如倍血差(空心背部)或高温(Hunchback)是相关的健康问题。诊断取决于检查员的经验,因此通常是主观的,容易出现错误。机器学习(ML)方法与可解释的人工智能(XAI)工具结合使用,已被证明可用于提供基于数据的基于目标的方向。但是,只有少数作品考虑了姿势参数,因此仍然没有受到人类友好的XAI解释的潜力。因此,目前的工作提出了一个具有数据驱动的医疗决策支持的Objeccive,用于医疗决策支持的ML系统,该系统可以使用反事实解释(CFS)特别对人类友好的解释。通过立体图表测量记录了1151名受试者的姿势数据。最初是对受试者的基于专家的分类,最初是在存在倍差或高温的存在的。使用高斯进度分类器,使用CFS对模型进行了训练和解释。使用置信度学习对标签误差进行了反弹和重新评估。发现了倍血分和高温的非常好的分类性能,从而重新评估和校正测试标签导致了显着改善(M prauc = 0.97)。统计评估表明,总体而言,CFS似乎是合理的。在个性化医学的背景下,本研究的方法对于减少诊断错误并从而改善了治疗措施的个人适应性可能非常重要。同样,它可能是开发预防姿势评估的应用程序的基础。
摘要。[目的]本研究旨在调查使用智能手机对预期姿势调整的定量评估的可靠性和有效性。[参与者和方法]该研究包括10名年轻的对照参与者,他们接受了一足的姿态,并具有加速度计和智能手机同时连接到下背部(L5)。加速度被测量为向姿势侧腰部运动的中外侧成分。将时间(峰潜伏期)的峰值和腰部加速度姿势侧向的位移量(峰值幅度)分析为预期的姿势调节特征。对加速度计和智能手机测量值的评估者内可靠性均计算,而两名考官的智能手机测量值则计算了相互可靠性。确定加速度计和智能手机测量的有效性。[结果]在这项研究中,确认了加速度计和智能手机测量中峰值潜伏期和峰值幅度的评估者内可靠性,以及智能手机测量中评估者间的可靠性。通过重新测试确认了评估者的可靠性,而加速度计和智能手机测量的有效性也得到了证实。[结论]这项研究的结果表明,使用智能手机来衡量预期的姿势调整是高度可靠且有效的,这使其成为有用的临床平衡指数。该方法很简单,可用于连续患者监测。关键词:智能手机,姿势控制,可靠性和有效性
我们提出了一种解决视频中2D人姿势估计的方法。视频中人类姿势估计的问题与估计静态图像中的人类姿势不同,因为视频包含大量相关信息。因此,我们投资了如何通过一系列视频框架来利用人体运动的信息来估算视频中的人类姿势。为此,我们引入了一种新型的热图回归方法,我们称之为运动吸引的热图恢复。我们的方法计算相邻帧的关节关键点中的运动向量。然后,我们签署了一种新的热图样式,我们称之为运动意识到的热图,以反映每个关节点的运动不确定性。与传统的热图不同,我们的运动吸引热图不仅考虑了当前的关节位置,而且还考虑了关节如何随时间移动。此外,我们引入了一个模拟且有效的框架,旨在将运动信息置于热图回归中。我们评估了在Posetrack(2018,21)和Sub-JHMDB数据集上的运动感知热图回归。我们的结果证明,拟议的运动吸引热图可显着提高视频中Human姿势估计的精度,尤其是在Challenging方案中,例如像体育游戏镜头一样具有实质性人类动作的视频。(代码和相关材料可在https://github.com/ songinpyo/mtpose中获得。)
3D人姿势估计(3D HPE)任务使用2D图像或视频来预测3D空间中的人类关节坐标。尽管最新的基于深度学习的方法取得了进步,但它们主要忽略了可访问的文本和自然可行的人类知识的能力,而错过了有价值的隐性监督,以指导3D HPE任务。此外,以前的努力经常从整个人体的角度研究这项任务,从而忽略了隐藏在不同身体部位的细粒度指导。为此,我们基于3D HPE的扩散模型(名为FinePose)提出了一个新的细粒及时驱动的DeNoiser。它由三个核心块组成,增强了扩散模型的反向过程:(1)通过耦合辅助辅助文本和可学习的提示以模拟隐式指南的耦合知识,并通过耦合的辅助辅助文本和自然可行的零件知识,可以通过耦合的辅助辅助文本和自然可行的零件知识来构建精细的部分零件感知的提示。(2)Fine-
大规模,手动注释的数据集的可用性在人类姿势估计中具有极大的先进研究,从2D单眼图像估计,这与诸如手势识别和动作识别之类的相关性密切相关。当前数据集(例如[1,16,20])主要包含来自我们所谓的轨道视图的图像,即侧面,前后视图,其中最重要的是,诸如对象或分裂的挑战,例如对象或分裂的挑战。他们专注于日常活动,例如站立,坐着和步行。因此,大部分研究都致力于解决遮挡和专业数据集([19,41]),以评估姿势估计模型在涉及封闭个体的情况下的有效性。不寻常的观点的问题受到了较少的关注。在我们所说的极端观点中(顶部和bot-