在团队中工作时,人们对工作应该如何完成或团队成员应该如何协作抱有期望。团队成员必须相互依赖,知道期望已经得到满足。当我们考虑混合团队时,即人类和人工智能系统一起工作时,这包括人工智能团队成员 [1]。在团队中工作的人工智能系统在特定的环境中工作。即使我们假设在设计和实施系统的过程中已经做了一切以获得最佳性能,但在特定环境中使用它也会改变良好性能的样子。例如,一个根据患者数据提出治疗建议的人工智能系统可以使用来自几家不同医院的数据进行训练,以便在一般任务中达到最佳性能。但是,当系统在特定医院使用时,它可能必须根据例如以下情况调整其建议:该医院的协议。这个想法是,当系统部署在团队或其他特定环境中时,像在一般训练阶段那样测量性能可能不足以衡量系统在该特定环境中的表现是否令人满意。为了衡量特定环境中的性能,必须在运行时监控 AI 系统。关于使用基于知识的系统监控现实世界过程或其模拟,目前存在许多关于监控的观点(例如,参见[2,3,4])。在本文中,我们提出了一个新颖的框架,其中知识将用于监控其他 AI 系统,这带来了自己的挑战并需要自己的视角。我们的目标是研究如何监控人工智能系统,以便将对性能的期望制定成可解释的、基于知识的监控系统。