摘要 - 本文介绍了Robodexvlm,这是一个用于机器人任务计划的创新框架,并掌握了配备灵敏手的协作操纵器的检测。以前的方法着眼于简化且有限的操纵任务,这些任务通常忽略了以长期培训方式抓住各种对象相关的复杂性。相比之下,我们提出的框架利用灵巧的手能够抓住不同形状和大小的对象,同时根据自然语言命令执行任务。所提出的方法具有以下核心组件:首先,设计了一个具有任务级恢复机制的稳健任务计划器,该机制设计了视觉语言模型(VLMS),这使系统能够解释和执行长序列任务。第二,基于机器人运动学和正式方法提出了语言引导的灵活掌握感知算法,该方法是针对带有多种物体和命令的零摄像的灵巧操作量身定制的。全面的实验结果验证了Robodexvlm在处理长层场景和执行灵巧抓握方面的有效性,适应性和鲁棒性。这些结果突出了该框架在复杂环境中运行的能力,展示了其进行开放式灵巧操作的潜力。我们的开源项目页面可以在https://henryhcliu.github.io/robodexvlm上找到。
摘要 - 准确的任务计划对于控制自主系统(例如机器人,无人机和自动驾驶车辆)至关重要。行为树(BTS)被认为是任务计划中最突出的控制政策定义框架之一,由于其模块化,灵活性和可重复性。为机器人系统生成可靠,准确的基于BT的控制策略仍然具有挑战性,并且通常需要域专业知识。在本文中,我们提出了利用大语言模型(LLM)和遗传编程(GP)的LLM-GP-BT技术,以使BTS的生成和配置自动化。LLM-GP-BT技术处理以人类自然语言表达的机器人任务命令,并以计算效率和用户友好的方式将其转换为基于BT的准确和可靠的任务计划。该提出的技术是通过仿真实验系统地开发和验证的,这表明了其简化自主系统任务计划的潜力。
摘要 - 大语言模型(LLM)的最新进展彻底改变了许多研究领域。在机器人技术中,通过解锁前所未有的上下文意识级别,将常识性知识整合到下游任务中已大大推动了该领域。尽管知识收集了大量知识,但由于幻觉或缺少域信息,LLM可能会产生不可行的计划。为了应对这些挑战并提高计划的可行性和计算效率,我们介绍了Delta,这是一种新颖的LLM知名任务计划方法。通过使用场景图作为LLM中的环境表示,Delta实现了快速生成精确的计划问题描述。为了提高计划绩效,Delta将LLMS的长期任务目标分解为自回归的子目标序列,从而使自动化的任务计划人员能够有效地解决复杂的问题。在我们的广泛评估中,我们表明,与艺术品相比,达美航空可以实现高效且全自动的任务计划管道,达到更高的计划成功率,并明显较短的计划时间。
*通讯作者V. P. S. Awana博士,首席科学家CSIR-National实验室,印度电子邮件:aawana@nplindia.org ph。+91-11-45609357,传真 - +91-11-45609310
摘要 - 远程在远程检测对于确保自动驾驶车辆的安全性和效率至关重要,使它们能够准确地感知并对物体,障碍物和潜在危害做出反应。但大多数基于最新的激光雷达方法的范围都受到限制,这是由于远距离的稀疏性,该方法在远离自我车辆的点之间产生了一种域间隙形式。另一个相关的问题是遥远对象的标签不平衡,它抑制了远程深度神经网络的性能。为了解决上述局限性,我们研究了两种方法来改善基于激光雷达的3D检测器的远程性能。首先,我们结合了两个3D检测网络,称为范围专家,一个专门在接近中端对象,一个在远程3D检测中。要在稀缺的标签制度下在远程训练检测器,我们根据标记的点与自我车辆的距离进一步权衡了损失。第二,我们使用多模式虚拟点(MVP)生成的虚拟点增强LIDAR扫描,这是一种易于可用的基于图像的深度完成算法。我们对远程argoverse2(AV2)数据集的实验表明,MVP在改善远距离性能方面更有效,同时保持直接实现。另一方面,系列专家提供了一种计算高效,更简单的替代方案,避免依赖基于图像的分割网络和完美的摄像头校准。
大型语言模型(LLMS)已经证明了需要解决任务计划和使用外部工具(例如天气和计算器API)组合的任务的熟练程度。但是,现实世界中的复杂系统提出了有关任务计划和工具使用情况的三个普遍的挑战:(1)实际系统通常具有许多API,因此将所有API的描述以LLMS的提示馈送是不切实际的,因为代币长度有限; (2)实际系统是为处理复杂任务而设计的,基本LLM几乎无法为此类任务计划正确的子任务订单和API呼叫顺序; (3)实际系统中API之间的类似语义和功能在区分它们时都为LLM甚至人类都带来了挑战。回应,本文介绍了一个旨在增强现实世界中LLM代理的任务计划和工具使用(TPTU)功能的综合框架。我们的框架包括三个旨在应对这些挑战的关键组件:(1)API猎犬在广泛的API集合中选择最相关的API; (2)LLM FineTuner对基本LLM进行调整,以增强其在任务计划和API调用方面的能力; (3)演示选择器检索与难以区分的API相关的演示,该演示进一步用于秘密学习以提高最终性能。我们使用现实世界中的行业系统和开源的学术数据集验证我们的方法,证明了每个组件以及集成框架的功效。
摘要 - 现实世界的机器人任务计划是由于部分观察性而棘手的。一种降低复杂性的常见方法是将其他结构引入决策过程,例如混合可特性性,货运状态或时间扩展的动作。我们提出了可观察到的马尔可夫决策过程,这是一种新颖的公式,对任务级别的计划进行建模,其中不确定性与对象级别属性有关,以及机器人具有可寻求和准确观察对象的子例程。该模拟范围限制和视线线的传感器 - 被遮挡或外部传感器范围的传感器未观察到,但是可以通过重复观察来解决落入传感器视图之内的对象的属性。我们的模型会导致一个三阶段的计划过程:首先,机器人计划仅使用观察到的对象;如果失败,它会生成一个目标对象,如果观察到,可能会导致可行的计划;最后,它试图定位和观察目标,在每个新观察到的对象之后重新掌握。通过将LOMDP与现成的Markov计划者相结合,我们在面向对象的POMDP和MDP类似物的最先进的求解器具有相同的任务规范。然后,我们将公式应用于移动机器人成功解决任务。
摘要:大型语言模型在机器人任务计划和任务分解的域中发现了效用。尽管如此,这些模型在任务执行中指导机器人的直接应用并非没有挑战。在处理更复杂的任务,与环境有效互动时遇到困难以及在此类模型直接生成的机器控制指令的实际可执行性中遇到困难。应对这些挑战,这项研究倡导实施多层大语言模型,以增强机器人在处理复杂任务方面的利用率。提出的模型通过整合多个大语言模型来促进任务的细致层次分解,其总体目标是增强任务计划的准确性。在任务分解过程中,引入了视觉语言模型作为环境感知的传感器。此感知过程的结果随后被吸收到大语言模型中,从而通过环境信息将任务目标融合在一起。这种整合反过来又导致了针对当前环境的特定特征量身定制的机器人运动计划。此外,为了增强大型语言模型的任务计划输出的可执行性,引入了语义一致性方法。此方法将任务计划描述与机器人运动的功能要求保持一致,从而确定了生成指令的总体兼容性和相干性。为了验证拟议方法的效果,使用智能无人车辆建立了一个实验平台。该平台是验证多层大语言模型在解决与机器人任务计划和执行相关的复杂挑战方面的提高效率的一种手段。
摘要:本文介绍了对任意几何形状的薄壁聚合物复合材料结构的各种真空输注模式进行建模的结果。制造结构的较小厚度以及其背面在模具的刚性表面上的固定,使得可以显着简化过程模型,这考虑了热固性树脂的繁殖,随着可压缩的3D几何形状的可压缩多孔性的流变学的变化,以及在注射和真空端口的边界条件变化的情况下,以及在Post-Post-Post-sourting post-sourting post-sourting sourting sourting sourting sourting sourting sourting-sourting-sourting-sourting inforning sout-forting sourting。在灌注后阶段研究的四种真空灌注成型模式中,在预成型的开放表面和真空端口以及注入门的状态(开放)(开放)(开放)。该过程的目标参数是纤维体积分数,壁厚,壁厚,用树脂和过程持续时间填充纤维体积分数的大小和均匀性。对所获得的结果的比较分析使您有可能确定最有希望的过程模式,并确定消除不良情况的方法,从而使制成的复合结构的质量恶化。通过将其应用于薄壁飞机结构的成型过程所证明的开发仿真工具的能力,允许人们合理选择过程控制策略以获得最佳可实现的质量目标。
摘要:有效的,可扩展的和成本效益的资源管理是一个多方面的在线决策问题,在网络和云计算方面越来越面临。更具体地,任务安排是一个复杂的挑战,解决了当今系统的最佳功能至关重要。调度的传统启发式方法在设计上很费力,尤其是很难调节,因此已经提出了各种基于机器的方法。强化学习(RL)在类似的决策问题中显示出很大的结果,许多现有方法采用RL来解决任务调度问题。这些作品中的大多数都考虑了单一代理的方案(因此遭受可伸缩性问题),或者现有的多代理应用程序非常专业。我们提出了一个通用多代理RL框架,该框架可以成功地学习协作最佳的调度策略,从而向既可以扩展又自主的云和网络迈出一步。我们的实验表明,这些代理可以协作学习动态工作负载的最佳调度策略。