XiaoMi-AI文件搜索系统
World File Search SystemManip
在复杂森林环境中探索的球形空中操纵器机器人
从无人机中受益匪浅的重要研究领域是精确农业，因为它们具有出色的空间分解能力，因此非常适合对蔬菜斑块进行详细的小规模分析。据我们所知，很少有研究应用无人机来探索诸如果园之类的复杂森林环境，通常依靠间接的甲基化来获取作物信息。在这项工作中，我们提出了一种新的方法，可以使特征的测量（例如分别测量水果或茎/叶）进行评估，以评估其成熟度或检测作物疾病。为了实现这一目标，我们引入了一种名为“ Sambot：球形空中ma-nipulator机器人”的新设计，该设计由一个由球形结构保护的迷你UAV组成，其前部有一个固定的操纵器。sambot与机械手的访问空间的能力相结合的球形脱落的保护益处。拟议的设计与ROS2兼容，ROS2是机器人研究和工业应用中广泛使用的框架。我们提议的范围的潜在应用范围范围超出了精确农业的范围，这些地区范围内，诸如矿山或崩溃的建筑物，结构检查以及自主地下导航等地区的搜索和救援区域。
AG2Manip：用代理学习新颖的操纵技巧 -
摘要 - 能够学习新型操纵任务的自主机器人系统有望将行业从制造业转变为服务自动化。然而，当前方法（例如，VIP和R3M）仍然面临重大障碍，尤其是机器人实施例之间的域间隙以及在特定动作空间内成功执行成功的任务执行的稀疏性，从而导致了错误和模棱两可的任务。我们介绍了AG2Manip（操纵的代理 - 不合稳定代表），该框架旨在通过两个关键的创新来解决这些挑战：（1）源自人类操纵视频的代理人视觉表示，并具有实施方案的细节，以增强普遍性； （2）代表机器人的运动学代表到通用代理代理，强调了终端效果和对象之间的关键相互作用。ag2manip在模拟基准中进行了经验验证，显示出325％的性能提高而不依赖于域特异性演示。消融研究进一步强调了代理 - 不合稳定的视觉和作用表示对这一成功的基本贡献。将我们的评估扩展到现实世界，AG2Manip很明显地将模仿学习成功率从50％提高到77.5％，这表明了其在模拟和真实环境中的有效性和可推广性。
精确操纵生物样品的机器人最终效应的设计和评估
我最深的gra6tude去了Toyah，在我们在一起的整个旅程中，您坚定不移的支持，支持和宝贵的帮助，我深表感谢。在过去的几年中，您一直是我一生中的支柱，而您的无与伦比的爱，posi6vity和气泡的个性在我的生活和本文项目中一直是基础。感谢您一直在我身边，通过所有的跌宕起伏，即使我怀疑自己，也相信我。我感谢我们在一起探索世界时创造的许多回忆。从我们在瑞典的随机旅行到Croa6a的出色现场音乐棒，从乌云密布的都柏林到Bra6slava的城堡，从肯尼亚的Safaris到Pi6gliano的街头散步，每一刻都是一个珍贵的冒险。感谢您总是有故事要分享，并且永远不会用尽任何事情来谈论。您的存在是Inspira6on和力量的持续来源。Asante Sana。Asante Sana。
操纵所有内容的补充材料
动作生成模块。我们使用以代理为中心或以对象为中心的方法生成每个动作。对于以对象为中心的动作生成，我们利用了NVIDIA的基础掌握预测模型M2T2 [1]进行选择和放置动作。对于6-DOF抓握，我们从单个RGB-D摄像头（在现实世界中）或多个摄像机（在模拟中）输入一个3D点云。该模型在任何可抓取的物体上输出一组掌握提案，提供6-DOF的抓取候选物（3-DOF旋转和3D-DOF翻译）和默认的抓地力关闭状态。对于放置操作，M2T2输出一组6-DOF放置姿势，指示在基于VLM计划执行Drop原始操作之前，最终效应器应在何处。网络确保对象在没有冲突的情况下稳定地定位。我们还设置了mask_threshold和object_threshold的默认值，以控制拟议的GRASP候选人的数量。提出了模板抓取姿势的列表后，我们使用QWEN-VL [2]通过使用机器翻译模型[3]提示当前图像框架来检测目标对象。此检测应用于来自不同相机的所有重新渲染观点或观点。然后，我们将这些帧连接到单个图像中，将每个子图像用右上角的数字注释。接下来，我们将带有几次演示的GPT-4V API调用，并且任务目标提示GPT-4V输出所选数量的视点，这些视点为采样抓取姿势提供了最无用的视图以实现子任务。使用选定的观点，我们通过将最终效果通过运动计划者移动到采样的抓握姿势来执行掌握。
使用行为原语搭建操作任务的脚手架......
摘要 模仿学习已展现出使机器人获得复杂操作行为的巨大潜力。然而，这些算法在长期任务中样本复杂度较高，复合误差会在任务范围内累积。我们提出了 PRIME（基于数据效率的 PRimitive-based IMitation），这是一个基于行为原语的框架，旨在提高模仿学习的数据效率。PRIME 通过将任务演示分解为原语序列来构建机器人任务，然后通过模仿学习学习高级控制策略对原语进行排序。我们的实验表明，PRIME 在多阶段操作任务中实现了显著的性能提升，模拟成功率比最先进的基线高出 10-34%，在物理硬件上的成功率高出 20-48%。1
机器人生成用于学习可概括的视觉机器人操作的数据
摘要 - 在大量数据上预先限制模型，这是AI的流行趋势。但是，由于需要有效的控制动作，为机器人学习收集足够的离线培训轨迹特别昂贵。因此，大多数现有的机器人数据集是从人类专家那里收集的。我们使用称为“机器人自学”的新框架来解决此类数据收集问题，该框架要求机器人自我生成有效的培训数据，而不是依靠人类示威者。我们的关键想法是在状态空间上训练单独的数据生成策略，以自动生成具有不断增长的复杂性的有意义的动作和轨迹。然后，这些生成的数据可进一步用于训练具有强大构图概括功能的视觉策略。我们在两个视觉操作测试台上验证了我们的框架，包括一个多物体堆叠域和流行的RL基准“ Franka Kitchen”。实验表明，对自生数据进行培训的最终视觉政策可以实现需要长马机器人执行的新颖测试目标。项目网站https://sites.google.com/ view/robot-self-teaching。
使用有限的演示
深度强化学习（DEEP RL）最近取得了重大进步，使代理可以直接从高维图像像素直接处理视频游戏，运动和操纵等复杂任务。尽管取得了这些成功，Deep RL通常依赖于特定领域的奖励功能，这些奖励功能需要专家知识。在本文中，我们提出了一种目标条件的视觉RL方法，该方法可以使用目标图像和有限的演示来有效地学习灵巧的对象操纵，而无需依赖于域特异性的密集奖励功能。我们的方法利用了有限的演示来预先培训策略，然后通过在策划和在线互动数据之间进行平衡采样来对其进行处理。在线相互作用期间，它用目标图像和VIP模型产生的目标条件奖励代替了人类指定的密集奖励功能。实验结果表明，即使在稀疏或没有奖励的环境中，我们的方法在敏捷的物体操纵任务中达到了较高的样品效率。
Manipal Technologies Limited（“ MTL”）2024年8月12日
免责声明：信息额定评级基于发行人以“ as”为基础的信息。informerics信用评级是关于发行人 /发行人的信用风险的意见，而不是购买，持有或出售证券的建议。Infomerics保留在任何时间点更改或撤回信用评级的权利。信息评级是基于管理层提供的信息和从其认为是准确和可靠的来源获得的信息的意见。信用质量评级不是对制裁，续签，续签或召回有关银行设施或购买，出售或持有任何担保的建议。但是，我们不保证任何信息的准确性，充分性或完整性，无论是由于错误还是欺诈，我们接受并假定没有错误陈述。我们对任何错误或遗漏或从使用此类信息获得的结果概不负责。根据银行设施/工具的数量和类型，我们对银行设施/工具的评级为银行设施/工具的大多数实体都支付了信用评级费。在有合伙人/专有关注/人协会（AOPS）的情况下，Informerics分配的评级基于合作伙伴/所有人/所有人/AOPS和目前公司的财务实力所部署的资本。在撤回资本或合作伙伴/所有人/ AOPS带来的无抵押贷款的情况下，评级可能会发生变化。