摘要人类机器人合作（HRC）对于向新工业革命的持续过渡（行业4.0）来说是关键的，在该过渡中，机器人与人类合作伙伴一起工作以自动化重复性和身体上要求的任务，并在危险或极端工作环境中取代人类。同时，人工工作者监督和验证整个过程，通过利用其高级决策能力来做出关键决策。尽管如此，目前的HRC水平远远远远远远远远远远远远远远不超过人类的合作。从人类的角度来看，HRC的当前界面是不直观的，耗时的，并且缺乏智能。机器人了解人类工人的高级意图并做出适当的反应是一个挑战。此外，人类的专业知识，认知能力和决策能力尚未有效地转移到或使用机器人。当前的方法在处理复杂，多步骤任务的处理方面遇到了困难，并且需要大量的时间和数据，以使机器人能够向人类学习。为了解决这些问题并实现类似人类的机器人学习，张博士深入研究了一个多学科研究领域，该领域与包括机器人AI，计算机视觉（CV）和人类计算机相互作用（HCI）在内的多个领域相交。在这次演讲中，张博士将在三个方面介绍他的研究进展：1）扩展现实（XR）界面和新的范式，这些界面和新的范式可以使人与机器人之间的沟通和教学和学习与学习； 2）基于多模式的大型语言模型（MLLM）的交互式框架，用于恢复失败的长马操纵； 3）零射击，几乎没有射击和无监督的学习算法。