我们称代理为先进,是因为它能够有效地选择其输出(我们称之为其动作),以便在广泛的环境中实现高预期效用。由于我们可能希望先进的人工智能代理在我们缺乏源代码的环境中运行,例如现实世界,因此我们认为代理在它们未知的环境中行动。如果代理的目标不仅仅是其动作的硬编码函数,那么它也必须取决于代理的感知。表明目标实现的感知本质上会告知代理,无论它使什么发生都是好的。因此,我们的研究涉及在未知环境中计划行动的代理,这需要它们了解哪些行动符合其目标。我们从一个理想化的情况开始,在这种情况下,我们似乎拥有创建具有良好目标的先进代理所需的所有工具。我们确定了代理面临的一个关键模糊性,我们认为这可能会促使代理干预我们打算提供目标信息感知的协议。然后我们概括