XiaoMi-AI文件搜索系统
World File Search System灵巧
灵巧的手指力吸引VR接口
虚拟现实（VR）的进步减少了用户的经验不同。但是，现实与虚拟性之间的差距持续存在，这些任务需要以微妙的方式将用户的多模式物理技能与虚拟环境结合在一起。当物理性感觉不真实时，在VR EASILY中断中的用户实施例，尤其是当用户调用其天生的偏爱以触摸和操纵他们遇到的事物时。在这项研究中，我们研究了力量意识到的VR接口的潜力，可以使自然连接与用户物理学，并在高技能触摸案例中对其进行评估。将表面肌电图（SEMG）与视觉跟踪相结合，我们开发了一个基于端到端学习的系统，势力，从其前臂SEMG信号中解码用户的灵活的手指力，以直接在标准VR管道中使用。这种方法消除了对手持式触觉设备的需求，从而促进了自然实施。一系列有关VR中的操纵任务的用户研究，该势力比替代解决方案更准确，更健壮和直观。两个概念证明VR应用程序，书法和钢琴演奏，证明了Vi-Sual，听觉和触觉方式之间的良好协同作用，因为ForceSense提供了提高用户在VR中的任务学习表现的潜力。我们的源代码和受过训练的模型将在https：// github上发布。com/nyu-icl/vr-force-aware-multimodal-Interface。
dexgraspnet 2.0：在大规模合成的杂物场景中学习生成灵巧的抓握
摘要 - 由于数据稀缺，在混乱的场景中挖掘仍然是灵巧的手。为了解决这个问题，我们提出了一个大规模的合成数据集，包括1319个对象，8270个场景和4.26亿个格拉斯普斯。除了基准测试之外，我们还从掌握数据中探索了数据有效的学习策略。我们揭示了以局部特征为条件的生成模型和强调复杂场景变化的GRASP数据集的组合是实现有效概括的关键。我们提出的生成方法在模拟实验中优于所有基准。更重要的是，它通过测试时间深度恢复表明了零拍的SIM到现实转移，获得了90.70％的现实世界灵巧抓地力成功率，展示了利用完全合成训练数据的强大潜力。
Leap Hand V2：灵巧，低成本的拟人化杂交刚性刚性软手，用于机器人学习
摘要 - 人类的手是生物学的非凡壮举，具有许多关节和肌肉的同时，具有出色的多功能性和精度。它使我们能够以极大的力量处理复杂的工具。然而，它保留了柔软，安全且屈服于精致物体的性质。强大的强度和柔和的合规性融合使其成为无与伦比的操纵仪器。但是，试图模拟这一点的机器人之手通常属于两个类别之一：软或刚性。柔软的手，虽然符合性和安全性缺乏人类手的精度和力量。相反，虽然刚性机器人的手可以与人体的精确性和力量相匹配，但它们是脆弱的，不符合其环境。我们提出的解决方案是建立一个机器人手，弥合这两个类别之间的差距。我们称此手DLA手，一种灵巧的，$ 3000，简单的拟人化软手，非常灵巧且多才多艺。首先，它通过3D打印的软外部与3D打印的内部骨结构相结合，达到了人体手状的柔软度和刚度的平衡。接下来，DLA手在可折叠的棕榈中结合了两个动力的表达：一个横跨四个手指，另一只手指靠近拇指，模仿了类似人类的握把的基本棕榈灵活性。最后，DLA
在开源灵巧的机器人手中向人类学习
摘要 - 用机器人手发出类似人类的灵活性一直是机器人技术的长期挑战。近年来，机器学习要求机器人手要可靠，便宜且易于制作。在过去的几年中，我们一直在研究如何满足这些要求。[1，2，2，3，4，5，6]我们将演示我们的三只机器人手来解决此问题，从易于仿真的手到柔软但坚固的灵巧的机器人手，执行三个不同的机器学习任务。我们的第一个机器学习任务将是远程运行，我们将开发一个新的移动手臂和手动捕获系统，我们将带给RSS 2024。第二，我们将演示如何使用人类视频和人类运动来教机器人手。最后，我们将展示如何在模拟和现实世界中使用强化学习不断改进这些政策。该演示将参与其中，将使灵巧的操纵脱颖而出，并激发研究人员将机器人手带入自己的项目。请访问我们的网站https://leaphand.com/rss2024demo，以获取更多交互式信息。
直接自我识别通过粒子滤波来进行灵巧操纵的逆雅可比亚人
摘要 - 计划和控制机器人手机操纵的能力受到了几个问题的挑战，包括系统的先验知识以及随着不同机器人手甚至掌握实例而变化的复杂物理学。最直接的手动操纵模型之一是逆雅各布，它可以直接从所需的内对象运动映射到所需的手动执行器控制。但是，获得没有复杂手动系统模型的没有复杂手动系统模型的这种反向雅各布人通常是impeasible。我们提出了一种使用基于粒子滤波器的估计方案自我识别的逆雅各布人来控制手工操作的方法，该方案利用了非隔离的手在自我识别运动过程中维持被动稳定的掌握的能力。此方法不需要对特定手动系统的先验知识，并且可以通过小型探索动作来学习系统的逆雅各布。我们的系统紧密近似近似雅各布，可用于成功执行一系列对象的操纵任务。通过在耶鲁大学模型上进行广泛的实验，我们表明所提出的系统可以提供准确的亚毫米级精度操纵，并且基于雅各布的逆控制器可以支持高达900Hz的实时操纵控制。
触觉渗透性：在触觉设备中添加孔可改善灵巧性
图1：（a）提高了针对指尖的触觉设备的可用性和最小化，研究人员离开了厚厚的执行器（例如振动电动机），而是专注于薄设备 - 成功的例子是电动刺激。这些可以设计为薄，即使用力膜覆盖了电极膜（例如，合规性或宏观功能），它仍然可以感觉到某些感觉。但是，我们认为这还不够，并且还应平衡触觉设备的损害，从而使感觉到现实世界与它具有虚拟感觉的准确程度。因此，我们提出并评估如何在电动设备中添加孔，从而导致：（1）改善触觉特征的感知； （2）改善掌握任务中的力控制（b）我们的方法显着提高了触觉用户在混合现实中的灵活活动（包括操纵工具）的能力。
您将再次掌握：脊髓/计算机与保留的运动神经元的直接接口可恢复慢性脊髓损伤后瘫痪手的灵巧控制
图 1 | a. 实验装置由放置在前臂肌肉中的 320 个表面 EMG 电极组成。运动指令由受试者前方的显示器上显示的虚拟手视频引导。b. 一些示例电极显示受试者尝试抓握任务（手指屈伸，0.5Hz）时的原始 HDsEMG 信号。c. 基于运动单元动作电位均方根值的空间映射示例。d. 在两指捏合任务的 10 秒内识别的运动单元激发（颜色编码）的光栅图。e. 使用因式分解分析为同一任务提取的神经模块。f. 具有两个神经模块的各个运动单元的 Pearson 相关值 (r)。g. 在所有任务和受试者中识别的运动单元 (MU) 数量（每个点代表一个受试者）。h. 两个神经模块（M1 - 蓝色和 M2 - 红色）解释方差的百分比，在所有受试者中平均。
OSAM：自主和灵巧机器人
• 高价值卫星处于孤立状态，几乎没有维修机会来纠正问题、补充燃料等。[DARPA]。 • 重力阻碍了某些结构的制造（例如超薄镜、薄纱结构）。减少上升质量。为什么要发射可以在现场收获和/或制造的资源？ • 发射整流罩限制了有效载荷的大小和重量，因此也限制了设计。模块化组装使大型和可进化的系统能够快速适应任务需求的变化或从诱发损坏中恢复。 – 一些模块类型可用于构建各种系统（例如平面阵列、望远镜、燃料库、平台） – 随用随付：多次发射、仪器更换/增强等。