XiaoMi-AI文件搜索系统
World File Search SystemHumanML3D
通过模拟患者特定的步行运动
在物理治疗，理解和分析患者运动（尤其是步态模式受损）方面的摘要对于有效的康复至关重要。传统上，实习治疗师通过与真实患者和教科书的动手经验获得这些技能。但是，这些方法受到患者的可用性以及治疗师可以观察到的动作的可变性的限制。为了解决这些局限性，我们提出了一个新型系统，该系统使治疗师可以从步态运动受损的广泛障碍中学习，而不会受到时间，位置或患者的可用性的限制。该系统利用HumanML3D数据集和组合Text2Length采样和Text2Motion生成的两步框架。在第一步中，分类模型根据输入文本描述预测运动长度。在第二步中，我们使用时间变异自动编码器（VAE）来生成各种且一致的3D运动序列。我们方法的关键组成部分是从Momask框架中利用残留矢量量化（RVQ），该框架可最大程度地减少误差并增强运动的精度。此外，蒙版的变压器确保合成的运动令牌在时间上是一致的，并且在上下文上是准确的。通过HumanML3D数据集进行了验证，我们的系统为物理治疗师提供了沉浸式和交互式工具，在混合现实环境中启用了动态的，特定于患者的运动模拟。通过弥合常规方法和MR辅助培训之间的差距，该方法使用交互式3D表示来改变治疗师的学习方式。它旨在彻底改变治疗培训，使康复策略更加有效和个性化。
与扩散模型的灵活运动
运动内部的运动是字符动画中的基本任务，包括生成运动序列，这些运动序列合理地插值用户提供的密钥帧约束。长期以来，它一直被认为是一个劳动密集型和具有挑战性的过程。我们研究了扩散模型在产生以关键帧为指导的各种人类运动中的潜力。与以前的Inbeting方法不同，我们提出了一个简单的统一模型，能够生成精确而多样的动作，以符合灵活的用户指定的空间约束以及文本调理。为此，我们提出了条件运动扩散在中间（condmdi），该扩散允许任意密集的或sparse的密钥帧放置和部分密钥帧约束，同时产生与给定密钥帧相干的高质量运动。我们评估了Condmdi在文本条件的HumanM3D数据集上的性能，并演示了扩散模型对密钥帧In-bet中间的扩散模型的多功能性和功效。我们进一步探索使用
三模式运动通过学习联合嵌入空间
信息检索是一个不断发展且至关重要的搜索域。对高质量人类运动数据的大量需求，尤其是在在线获取中，导致人类运动研究工作的激增。先前的作品主要集中在双模式学习上，例如文本和运动任务，但是很少探索三模式学习。直觉上，额外的引入方式可以丰富模型的应用程序方案，更重要的是，对额外模式的适当选择也可以充当中介，并增强其他两个不同方式之间的对齐方式。在这项工作中，我们介绍了Lavimo（语言视频 - 动作对齐），这是一个三模式学习的新型框架，将以人为中心的视频整合为一种额外的方式，从而可以在文本和运动之间弥合差距。更重要的是，我们的方法利用了一种专门设计的注意机制来增强文本，视频和运动方式之间的一致性和协同作用。经验，我们对HumanML3D和Kit-ML数据集的结果表明，Lavimo在各种与运动相关的跨模式检索任务中实现了最先进的表现，包括文本到动作，动作到运动，视频，视频到视频，动作和动态。我们的项目网页可以在https://lavimo2023.github.io/lavimo/中找到。