3D人姿势估计(3D HPE)任务使用2D图像或视频来预测3D空间中的人类关节坐标。尽管最新的基于深度学习的方法取得了进步,但它们主要忽略了可访问的文本和自然可行的人类知识的能力,而错过了有价值的隐性监督,以指导3D HPE任务。此外,以前的努力经常从整个人体的角度研究这项任务,从而忽略了隐藏在不同身体部位的细粒度指导。为此,我们基于3D HPE的扩散模型(名为FinePose)提出了一个新的细粒及时驱动的DeNoiser。它由三个核心块组成,增强了扩散模型的反向过程:(1)通过耦合辅助辅助文本和可学习的提示以模拟隐式指南的耦合知识,并通过耦合的辅助辅助文本和自然可行的零件知识,可以通过耦合的辅助辅助文本和自然可行的零件知识来构建精细的部分零件感知的提示。(2)Fine-
我们提出了一种类别级 6D 物体姿势和大小估计的新方法。为了解决类内形状变化,我们学习了规范形状空间 (CASS),它是特定物体类别的大量实例的统一表示。具体而言,CASS 被建模为具有规范化姿势的规范 3D 形状的深度生成模型的潜在空间。我们训练变分自动编码器 (VAE) 以从 RGBD 图像在规范空间中生成 3D 点云。VAE 以跨类别的方式进行训练,利用公开可用的大型 3D 形状存储库。由于 3D 点云是以规范化姿势(具有实际大小)生成的,因此 VAE 的编码器学习视图分解的 RGBD 嵌入。它将任意视图中的 RGBD 图像映射到与姿势无关的 3D 形状表示。然后,通过将物体姿势与使用单独的深度神经网络提取的输入 RGBD 的姿势相关特征进行对比来估计物体姿势。我们将 CASS 的学习和姿势和尺寸估计集成到端到端可训练网络中,实现了最先进的性能。
估计不合作航天器的姿态是一个重要的计算机视觉问题,它有助于在轨道上部署基于视觉的自动系统,其应用范围从在轨服务到空间碎片清除。随着计算机视觉的总体趋势,越来越多的工作开始关注利用深度学习 (DL) 方法解决这个问题。然而,尽管研究阶段的成果令人鼓舞,但阻碍在实际任务中使用此类方法的主要挑战仍然存在。特别是,这种计算密集型算法的部署仍未得到充分研究,而在合成图像上进行训练和在真实图像上进行测试时的性能下降仍有待缓解。本调查的主要目标是全面描述当前基于 DL 的航天器姿态估计方法。次要目标是帮助确定有效部署基于 DL 的航天器姿态估计解决方案以实现可靠的自主视觉应用的局限性。为此,本调查首先根据两种方法总结了现有算法:混合模块化流水线和直接端到端回归方法。本文不仅从姿势准确性的角度对算法进行了比较,还重点关注了网络架构和模型大小,同时考虑到了潜在的部署。然后,讨论了用于训练和测试这些方法的当前单目航天器姿势估计数据集。还讨论了数据生成方法:模拟器和测试平台、合成生成的图像与实验室/空间收集的图像之间的领域差距和性能下降以及潜在的解决方案。最后,本文提出了该领域的开放研究问题和未来方向,并与其他计算机视觉应用进行了比较。
Greene,N.,Luo,W。&Kazanzides,P。DVPOSE:自动化数据收集和数据集,用于6D姿势估算机器人手术工具的姿势,在2023年国际医学机器人技术研讨会(ISMR)(ISMR)(2023)(2023),1-7。
摘要 - 基于医学互联网(IOMT)和环境技术的监视内姿势估计对许多应用具有重大影响,例如与睡眠相关的疾病,包括阻塞性睡眠呼吸暂停综合症,睡眠质量评估和压力溃疡的健康风险。在这项研究中,已经提出了使用深度学习框架提出的新的多模式内姿势估计。同时收集的多模式说谎姿势(SLP)数据集已用于对所提出的框架进行性能评估,其中使用了两种模式,包括长波红外(LWIR)和深度图像来训练拟议的模型。这项研究的主要分配是特征融合网络和生成模型的使用来生成与其他模态相似的RGB图像(LWIR/DEPTH)。包含生成模型有助于提高姿势估计算法的总体准确性。此外,可以将该方法推广到在各种覆盖厚度水平下在家庭和医院环境中恢复人类姿势的情况。将所提出的模型与其他基于融合的模型进行了比较,并显示了PCKH @ 0.5的97.8%的提高性能。此外,已经评估了不同覆盖条件的性能,在家庭和医院环境下,使用我们建议的模型进行了改进。
摘要将多转飞机(MRAV)集成到5G和6G网络中,增强了覆盖范围,连通性和拥堵管理。这促进了通信意识到的机器人技术,探索了机器人技术与通信之间的相互作用,但也使MRAV易受恶意攻击(例如干扰)。对抗这些攻击的一种传统措施是在MRAV上使用横梁来应用物理层安全技术。在本文中,我们探讨了姿势优化,作为反对对MRAV攻击的替代方法。该技术旨在全向MRAVS,它们是能够独立控制其位置和方向的无人机,而不是无法独立控制其位置的更常见的低估MRAV。在本文中,我们考虑了一个全向MRAV作为合法地面节点的基站(BS),受到恶意干扰的攻击。我们优化了MRAV姿势(即位置和方向),以最大程度地比所有合法节点上的最小信噪比加上噪声比(SINR)。
研究人员 - 包括法国图卢兹TBS商学院的Soumyadeb Chowdhury;亚利桑那州立大学的彼得·纳吉(Peter Nagy);来自北爱尔兰贝尔法斯特皇后大学的Shuang Ren可能会发现用户可能将更多的责任归咎于人类影响者,而在负面的经历之后是虚拟影响者,因为他们认为人类具有“更多的代理和经验”。
摘要:跟踪在协作机器人附近工作的人类操作员可以改善安全体系结构,人体工程学的设计以及在人与机器人协作场景中执行汇编任务。使用了三个商业空间计算套件及其软件开发套件,可提供各种实时功能来跟踪人类姿势。本文探讨了结合不同硬件系统和软件框架功能的可能性,这些功能可能会导致在协作机器人应用中检测人姿势的更好的性能和准确性。本研究在六个深度水平上评估了他们的性能,并比较了原始数据和降噪的过滤数据。此外,将激光测量设备用作地面真相指标,以及平均均方根误差作为误差度量。根据位置准确性和可重复性进行了分析并比较所获得的结果,表明传感器的性能在跟踪距离上的依赖性。使用基于卡尔曼的过滤器融合了人类骨架数据,然后考虑其在不同距离区域的性能,重建操作员的姿势。结果表明,在小于3 m的距离下,Microsoft Azure Kinect显示出更好的跟踪性能,其次是Intel Realsense D455和Stereolabs Zed2,而在范围高于3 m的范围内,ZED2的跟踪性能出色。
摘要 - 在本文中,我们通过开发神经网络模型来大大扩展了机器人执行后续任务和该任务的变化的能力,从而从观察到的人类运动历史上预测未来的人类运动。我们提出了一个非自动回忆的变压器架构,以利用其并行性质,以便在测试时更容易训练和快速,准确的预测。所提出的结构将Human运动预测分为两个部分:1)人类轨迹,这是髋关节随时间的3D位置,以及2)人类姿势,这是所有其他关节在时间上相对于固定髋关节的3D位置。我们建议同时做出两个预测,因为共享表示可以改善模型性能。因此,该模型由两组编码器和解码器组成。首先,应用于编码器输出的多头注意模块改善了人类轨迹。第二,应用于与解码器输出相连的编码器输出的另一个多头自我发项模块有助于学习时间依赖性。我们的模型在测试准确性和速度方面非常适合机器人应用,并且相对于最先进的方法进行了比较。我们通过机器人后续任务证明了我们作品的现实适用性,这是我们提议的模型充满挑战而实用的案例研究。我们的模型预测的人类运动使机器人可以在情况下进行详细的人类运动,例如静止不动,即站立。它还使简单的控制策略能够琐碎地概括到人类关注的许多不同变化,例如后续行动。我们的代码和数据可在以下github页面上获得:https://github.com/mmahdavian/stpotr
I. 引言 A. 背景与动机 近年来,空中操控引起了机器人研究界的极大兴趣 [1]。多个研究小组展示了使用安装在空中机械手上的夹持器进行空中抓取 [2]–[4]。Lee 和 Kim、Kim 等人展示了协作式空中机械手在有障碍物的环境中抓取未知有效载荷 [5],[6]。Orsag 等人演示了使用四旋翼平台和安装在平台上的双臂执行拾取和钉孔任务 [7]。欧盟第七框架计划资助了几个空中机械手项目,研究空中机械手与环境交互时的运动规划和阻抗控制 [8]–[10]。德国航空航天中心的一个研究小组介绍了安装在直升机上的 7 自由度人形手臂的潜在应用 [11]。类似 Delta 的机构 [12] 和并联机械手 [13] 也被考虑用于空中机械手。这些现有的研究为空中操纵的研究提供了广阔的未来。然而,与地面操纵器相比,空中操纵器能够完成的任务仍处于非常初级的阶段。这是由于许多因素造成的,例如