智能及相关学科。我们的研究涉及语言、逻辑和认知界面上“扎根表征”介导的人类行为多模态意义建构的理论、方法和应用理解 [ 1 ]。在这里,通过将知识表示和推理与视觉计算相结合的系统神经符号机制,声明性地介导扎根推理以实现协作自主具有特殊意义。预期的功能目的涵盖各种操作需求,例如可解释的多模态常识理解、用于通信和总结的多模态生成/合成、多模态解释引导的决策支持、多模态行为适应和自主以及多模态分析可视化。为实现这些操作需求而开发的方法和工具也必须与领域无关,并且它们既能满足在线/实时操作,也能满足不同应用场景中的事后操作(例如,参考 [ 2 ] 中在线神经符号绑架应用于自动驾驶领域的案例)。
主要关键词