详细内容或原文请订阅后点击阅览
视觉语言模型训练机器人解读人类情绪
本文是我们与 IEEE Xplore 合作的独家 IEEE Journal Watch 系列的一部分。随着机器人在灵活性和其他物理能力方面的进步，人类更有可能发现自己与它们一起工作。如果发生这种情况，机器人的情感能力需要如何提高才能成功地与人类合作？在最近的一项研究中，研究人员训练协作机器人不仅通过考虑面部表情，还通过考虑互动中的情境因素来解读人类情感。通过对 40 名志愿者进行实验，研究人员评估了机器人解读人类情绪并调整其行为的能力，进而影响人类对机器人的感知及其在两者合作执行任务时的能力。结果表明，机器人的情感能力只能与人类相提并论，并于 5 月 18 日发表在《IEEE 机器人与自动化快报》上。Seung Chan Hong 在澳大利亚墨尔本大学学习期间领导了这项研究，作为其本科论文的一部分。他指出，虽然人们对机器人身体能力的进步进行了大量宣传，但这只是难题的一小部分。他说：“当涉及到它们与人类的实际交互时，我们还需要创新，而不仅仅是它们的身体能力。”这促使他更深入地研究人机交互的情感方面。首先，洪和他的合著者决定训练一个机器人来阅读人类的文字
来源:IEEE Spectrum _机器人本文是我们与 IEEE Xplore 合作的独家 IEEE Journal Watch 系列的一部分。
随着机器人在灵活性和其他身体能力方面的进步，人类更有可能发现自己与它们一起工作。如果发生这种情况，机器人的情感能力需要如何提升才能成功地与人类合作？
在最近的一项研究中，研究人员训练协作机器人解读人类情绪，不仅考虑面部表情，还考虑交互中的情境因素。通过对 40 名志愿者进行实验，研究人员评估了机器人解读人类情绪并调整其行为的能力，进而影响人类对机器人的感知及其在两者合作执行任务时的能力。研究结果于 5 月 18 日发表在《IEEE 机器人与自动化快报》上，该结果表明机器人的情感能力仅与人类相媲美。
Seung Chan Hong 在澳大利亚墨尔本大学学习期间领导了这项研究，作为其本科论文的一部分。他指出，虽然人们对机器人身体能力的进步进行了大量宣传，但这只是难题的一小部分。 “当涉及到它们与人类的实际互动时，我们还需要进行创新，而不仅仅是它们的身体能力，”他说。
这促使他更深入地研究人机交互的情感方面。首先，Hong 和他的合著者决定使用视觉语言模型 (VLM) 训练机器人来读取人类情感，该模型类似于 ChatGPT 等大型语言模型，但也可以接受视觉输入。
训练 VLM 进行人类情感识别
Hong 说：“我认为 [VLM] 能够更好地与人类观察者所看到的情况保持一致，因为它不仅仅是在短时间内观察人的脸部，而是看到整个场景 - 人在哪里、他们在做什么，以及他们如何与机器人互动。”