XiaoMi-AI文件搜索系统
World File Search SystemVLM
在机器人技术中部署LLMS/VLM的安全问题突出了风险和漏洞
由于防御机制不足。例如，HAL-036语言模型的透明度和幻觉[14]可能会影响037对场景的可靠理解，从而导致机器人系统中不希望的038动作。另一个风险来源是039是LLMS/VLMS无法解决文本或图像提供的040上下文信息的歧义[35，52]。041由于当前语言模型通常遵循模板-042的提示格式来执行任务[16，29]，因此缺乏043在解决自然044语言的变体和同义词时缺乏灵活性也可能导致045个提示的误解[24，43]。此外，在提示046中使用多模式的输入增加了上下文理解的难度和047推理的难度，这可能导致更高的失败风险[8，18]。048在实际应用中，这些风险将对机器人系统的鲁棒性和安全构成重大挑战。050我们的目标是分析语言模型和机器人技术的可信度和可靠性051。在这方面，我们的目标是052通过广泛的实验提高对机器人应用程序054的最先进语言模型的安全问题的认识。我们表明，需要对该主题进行进一步的研究055，以安全地部署基于LLM/VLM的056机器人，以实现现实世界应用程序。我们的主要重点是057
RL-VLM-F：从视觉语言基础模型反馈
奖励工程长期以来一直是加强学习（RL）研究的挑战，因为它通常需要大量的人类努力和试验和错误的局限性来设计有效的奖励功能。在本文中，我们提出了rl-vlm-f，这种方法通过利用视觉语言基础模型（VLMS）来利用馈送供给，从而自动为代理人学习新任务的奖励功能，并仅对任务目标的文本描述和代理人的视觉观察来生成新任务。我们方法的关键是要查询这些模型，以根据任务目标的文本描述对代理的图像观察对偏好，然后从偏好标签中学习重新函数，而不是直接提示这些模型输出原始奖励分数，这可能是嘈杂和一致的。我们证明，RL-VLM-F成功地产生了各个领域的有效奖励和政策，包括经典控制，以及操纵刚性，清晰和可变形物体的操纵，而无需人工监督，不需要人类的先验方法，这些方法均超过了在同一假设下使用奖励生成的大型奖励模型。