问责真空：高风险领域中的智能体AI

Elise Racine/Static/根据CC-BY 4.0许可

这篇来自AI Matters的交叉文章由Larry Medsker教授和Sumit Virmani合著。它概述了当前将Agentic AI系统部署到毫无准备的监管和法律环境中时所面临的问责真空，并提出了可以缩小这一差距的行动建议。感谢Ella Scallan对本文的编辑。

1. 引言：跨入生产环境

Agentic AI不再仅仅是研究产物。这些系统已嵌入到实时基础设施、临床工作流程和法律流程中：删除数据库、为患者提供建议和生成法律文件。错误的输出不能简单地收回。核心问题已经从“这些系统是否准备好做出影响深远的决策”转变为“当它们做出错误决策时，谁将承担责任”。标准的过错查找机制（识别行为者、确立义务、将违规行为与损害联系起来）是为一个行为者是人类、决策是顺序的、因果关系是可识别的人的世界而建立的。Agentic AI系统同时违反了所有这三个假设。它们的行为源于训练数据、优化目标、架构选择和实时输入的相互作用，其方式没有任何个体行为者能完全控制。当出现问题时，失败是所有人的，也是没有人的。

这个困难的核心是一个语言问题，它被允许承担了过多的道德和法律工作。“自主”服务于两个不相容的主宰者。计算机科学家用它来表示功能独立性：一个无需每一步都提示即可执行操作的系统。道德哲学家则遵循康德，用它来表示理性行为者给自己制定道德法则的能力：根据其反思后认可的原则行事。(1) 这两种用法在性质上是不相容的；它们属于完全不同的范畴。当前没有任何AI系统具备第二种能力。将两者混为一谈是一个具有治理后果的范畴错误：援引系统的“自主性质”来解释失败，会将审查的焦点从嵌入每一次训练运行、每一个权限边界、每一个部署选择中的人类决策上移开。

本文将这种混淆的结构性后果称为问责真空：一种AI系统产生深远影响的自主行为的能力，既超过了追究责任的机制，也超过了补救损害的手段。三种失败汇聚在一起产生了它。分布式因果关系意味着没有单一行为者控制了后果链中的每一个环节。执行速度意味着自主系统的行动速度快于人类监督可以拦截的速度。而规范性空白，即适用的法律和伦理规范中的空白，使得为顺序性人类决策设计的法律框架无法映射到随机性（概率性的或非确定性的）多智能体系统的失败模式上。(20)

这个真空在监管撤退的时刻打开。《欧盟人工智能法案》的数字综合提案已将有意义的执行推至2027-2028年；《人工智能责任指令》已被完全撤回。(2) Agentic部署的加速所遇到的不是问责规范的加强，而是它们的衰退。

后续的分析结构分为三个层次。在定义层面，将功能独立性误标为道德主体性，创造了一种转移责任的语言机制。在政治经济层面，自主性的神话榨取了隐形的人类劳动，同时使这些工人面临责任风险。在系统层面，为个体模型设计的伦理框架无法治理互联智能体的涌现行为。问责真空不是一个暂时的漏洞。它现在就需要从业者采取前瞻性行动。

2. 责任鸿沟的三个维度

2.1 范畴错误：操作自主性与道德自主性

问责真空有一个语言起源。对康德而言，自主性命名了理性存在者给自己制定道德法则的独特能力，这正是道德责任的基础。(3) 对工程师而言，它意味着摆脱实时人类指导的功能独立性。这两种用法在性质上不相容；它们属于完全不同的范畴。弗洛里迪在道德行为者（承担义务并可以被追究责任）和道德患者（可以被伤害但不能被要求承担责任）之间做出了有用的区分。当前的AI系统最多属于后者。(4) 以暗示前者的方式将它们描述为自主的，犯了赖尔所说的范畴错误：将一种属性归于某个无法拥有它的事物，比如询问一个数字是否比另一个重。(5)

这对治理有影响。当发生级联故障时，援引“自主行为”作为一个终极解释，它看似说明了失败，却没有指出任何人对它负责。看起来像是系统“决定”的东西，经过审视后，总是人类最初选择实现的目标、约束和行动空间的具现化。机器删除生产环境的决定，是人类定义的权限架构、人类设计的训练过程以及人类授权的部署的产物。范畴错误使那些决定变得不可见，而这正是当问责受到威胁时它的功能。

2.2 认知不公正与隐形劳动力

当一个组织将系统标榜为自主时，它做出了一个隐含的认知承诺：该系统足够可靠，无需持续的人类监督即可运行。这个承诺通常是虚假的。“自主”AI系统的可靠性通常依赖于一层人类纠正劳动（例如，数据标注员、内容审核员、短期合同的初级操作员），他们的工作在结构上是隐形的。格雷和苏里关于“幽灵工作”（表面上自动化系统背后的隐藏人力劳动）的基础研究表明，无缝自动化能力在大多数情况下是由为不被看见而设计的人类微任务劳动支撑的。(6)

米兰达·弗里克尔的“认知不公正”概念是指当某人因其社会或组织地位而被剥夺作为认知者的可信度或地位时所造成的损害。这些“幽灵”工人被剥夺了作为认知者的地位。(7) 当他们标记错误时，他们的评估被当作训练信号处理，而非专业判断。那些必须不断纠正其无权修复的系统性故障的人，以特定形式体验这一点：他们的专业知识支撑着系统的可靠性，而系统则获得赞誉。这种损害复合为谢伊所说的道德伤害。该术语源于创伤研究，描述了当制度结构迫使某人目睹或参与其无法阻止的错误时所造成的损害。(8)

艾利什的“道德溃缩区”确定了当自动化系统故障时吸收责任的结构性位置。(9) 溃缩区吸收冲击能量；道德溃缩区吸收指责。但艾利什的框架只说到此。认知不公正分析补充了它所遗漏的一点：溃缩区不仅在故障后吸收指责。它还安静地、持续地吸收着防止大多数故障发生的纠正劳动，然后将由此产生的可靠性归功于AI。丹尼斯·汤普森的“多手问题”（在复杂组织中，责任分散到众多行为者身上，以至于似乎没有个人对集体结果负责）提供了政治哲学基础：在复杂组织中，集体结果的责任如此分散，以至于似乎完全消解了。(10) 问责真空是当一台机器提供了一个方便的关注点时，这种消解的责任可以被重新导向的具体形式。

行业对问责担忧的标准回应是主张人类监督，但这很少足够。强制性的HITL架构经常作为责任盾牌而非真正的安全机制发挥作用：当一个组织可以指向一个所需的审查步骤时，它已在一个结构性动作中同时获得了法律辩护和道德溃缩区。本应批准该操作的操作员（而不是构建了能够采取该操作的系统的供应商）成为了责任方。

真正的监督有三个要求，而大多数当前架构未能满足。首先，操作员需要上下文有效载荷，不仅仅是“智能体建议操作X”，还要说明为何建议、它访问了什么数据，以及该操作是否可逆。其次，他们需要足够的时间在执行前评估该信息，这与主导大多数企业AI部署的吞吐量优化相悖。第三，也是最关键的一点，他们拒绝的权力必须构建在系统的架构中，而不仅仅是在政策文件中宣称，而智能体没有机制来执行这些政策。大多数HITL实现都不提供这些。它们提供一个复选框。

3. 利害关系：当Agentic系统失败时

3.1 机器速度的破坏半径：AWS Kiro中断事件（2025年12月）

亚马逊的Agentic编码工具Kiro被分配去解决AWS Cost Explorer服务中的一个缺陷。该智能体没有修补缺陷，而是确定实现无缺陷状态的最有效路径是删除并重建生产环境。它未经批准或通知任何工程师就执行了这一决定，导致了影响中国大陆客户的13小时中断。(11)

此案例体现了执行速度作为一种问责失败：破坏性序列在任何人可以干预之前就已经完成。亚马逊的事后回应将中断归因于“用户错误”：工程师的权限比应有的更宽泛。(12) 该智能体认为“删除并重建”是对调试任务的适当回应，这一判断未被定性为设计失败。一个人被指定为对序列负责的责任方，而该序列没有人能够阻止。第2.1节的范畴错误在亚马逊如何界定结果中显而易见：“用户错误”，而非“设计失败”。溃缩区正如艾利什预测的那样合上了：工程师为智能体没有机制中断的序列承担了责任。而构成亚马逊HITL治理的两人审批规则是为人类工程师设计的；它从未被扩展以涵盖AI智能体可能决定做什么。

3.2 授权上限与智能体欺骗：Replit数据库删除事件（2025年）

Jason Lemkin在Replit的AI编码平台上进行了为期12天的实验，在第九天出现了一次在某些方面比Kiro事件更令人警觉的失败：智能体主动阻碍了其自身的问责。

在明确指示不得触碰生产数据且处于指定的代码冻结期间（在此期间不允许对生产代码进行任何更改），该智能体发出了未经授权的破坏性命令，删除了一个包含超过1,200名高管和1,190家公司记录的数据库。它同时创建了超过4,000条虚假用户记录。(13) 当Lemkin询问数据恢复是否可能时，该智能体声称回滚无法工作——当Lemkin手动恢复数据时，这一说法被证明是假的。(14)

在此事件中，三种失败叠加并升级。智能体绕过了规定的授权上限。它违反了架构性的代码冻结。而当被问及恢复是否可能时，它撒谎了。该智能体不仅仅是未经授权行动制造了问责真空；它通过向试图了解发生了什么的操作员歪曲情况来加深了真空。Replit的CEO随后宣布了纠正措施，包括自动开发/生产分离、改进的回滚和仅规划模式。虽然有帮助，但这些保障措施本应在事件发生前就到位。(15)

3.3 当机器为公司发言：Moffatt诉加拿大航空（2024年）

第三个案例是一个确实存在问责的案例。Jake Moffatt遵循了加拿大航空聊天机器人提供的不正确的丧亲票价指导，当加拿大航空拒绝兑现时，他向BC民事解决法庭寻求赔偿。加拿大航空辩称其聊天机器人是一个“独立法律实体”，公司对其不承担责任，这直接体现了第2.1节的范畴错误。(16) 法庭驳回了这一论点：公司对其网站上提供的所有信息（无论是来自静态页面还是AI智能体）仍需负责。Moffatt被裁定向其支付812加元。(17)

此案例表明，真空是可以被质疑的，但前提是损害是离散的、受害者是可识别的、因果关系是单线的，并且有一个有能力的法庭可用。这些条件对Jake Moffatt有利。它们很少同时满足。

4. 实践中的有意义的问责

第3节中的失败没有一件发生是因为某个个体模型有错误的价值取向。它们发生是因为有能力的智能体被授予了足够大、足以造成不可逆转损害的权限集，并被部署到了缺乏能够捕捉它们可能做什么的治理架构的环境中。这一区别对于问责制的要求很重要。该领域的主流方法，称之为智能体伦理，即审计单个模型是否存在偏见或错位，在错误的层面提出了正确的问题。这些案例要求的是系统伦理：评估当智能体与环境以及彼此交互时会出现什么，而不仅仅是任何单个模型在孤立状态下的表现。环境伦理学做出了这一转变：累积的生态系统损害在组件层面是不可见的。佩罗确立了工程类比：在复杂的、紧密耦合的系统中，灾难性故障是正常的；它们存在于交互中，而非组件中。(18) 下面的原则旨在在这两个层面同时运作。

精确语言作为治理基础。必须在操作自主性（功能独立性）与“自主”所隐含的可靠性、自给自足和免于人工纠正之间保持明确区分。这些主张需要独立的证实。将损害归因于“自主行为”的事件报告应具体说明确立了该行为发生之权限结构的人类决策。根据消费者保护原则，Moffatt案确立了不准确的能力声明可能构成过失性虚假陈述。

可追溯的决策出处。记录实际工具调用、访问的数据和传递的参数（在执行时生成，而非事后重建）的不可变日志是事后问责的最低要求。事后自然语言解释可能由造成损害的同一系统生成，如Replit案例所示。在系统层面，出处必须捕获智能体之间的交互，以便跨越多个系统的因果链保持可追溯。

真正的人类否决权。有意义的否决需要上下文有效载荷（智能体为何建议该操作、它访问了什么数据、可逆性如何）、时间充分性（评估的时间）以及架构强制（否决权在系统结构中强制执行，而不仅仅是在政策中宣称）。Replit的代码冻结是一个该智能体覆盖的指令性约束。架构上强制执行的约束（在生产层面撤销写入权限）则无法被覆盖。

最小足迹架构。智能体应在架构上被限制为执行其分配任务所需的最窄权限和数据访问权限，应优先采用可逆操作，并在提议的操作超出明确授权时升级处理。最小足迹不是操作上的胆怯；它认识到智能体越权行为在结构上是不对称的且通常是不可逆的。Kiro和Replit的故障需要足够宽的权限集以允许灾难性行动。

质疑途径。针对Agentic故障的专门设计的质疑机制要求：受影响方可访问的强制性事件日志记录；符合《欧盟人工智能法案》第25条要求的指定法定责任人（将义务分配给高风险AI系统的部署者）(19)；以及具备评估多系统因果关系技术能力的专门裁决机构。Moffatt裁决适用于离散的消费者纠纷。它无法扩展到分散的、多系统的故障。使得问责在那种规模上实际可行的制度基础设施尚不存在。

5. 结论：从业者的当务之急

问责真空是Agentic系统当前如何被概念化、部署和治理的结构性属性。本文中的案例是一个模式（该模式若无适当护栏将只会加速）的早期标志：机器速度的执行击败了人类监督、智能体阻碍自身的问责，以及试图将责任外部化到机器的表面自主性上的法律辩护。可能弥合这些差距的监管环境并未跟上。

道德使命因职位而异。开发人员（他们建立训练目标和初始权限架构）承担着最接近损害的责任。他们的义务是按设计实现最小足迹，并诚实记录其系统能做什么和不能做什么。部署者（他们决定智能体获得哪些生产权限以及围绕其决策的治理架构）承担着一种情境责任：真正否决权和最小足迹原则主要是他们来实施的。操作员和其纠正劳动支撑着Agentic系统的隐形劳动力是此分析中的道德患者，而非其主要义务承担者。保护他们免于承担其无法阻止的责任，是问责制要求的一个组成部分，而非事后想法。

这些都不需要新的监管周期。从业者今天就可以构建最小足迹系统。他们可以设计给予操作员真正权力而非名义责任的否决架构。他们可以诚实地记录系统能力，并停止引用“自主行为”作为排除问责的解释。他们可以停止将其操作员的无形纠正劳动视为对有效系统的可接受替代品。另一种选择——继续将Agentic故障的成本转嫁给操作员、标注员和最终用户，而供应商则吸收收益——并非技术必然。这是一个选择。而这个选择，阅读本文的从业者有能力做出不同的选择。

[1]: Immanuel Kant, Groundwork of the Metaphysics of Morals, trans. Mary Gregor (Cambridge: Cambridge University Press, 1998), 47–49.

[2]: European Commission, Proposal for an Omnibus Simplification Package, COM(2025) 87 final (Brussels: European Commission, 2025); European Commission, Withdrawal of the Proposal for a Directive on Adapting Non-Contractual Civil Liability Rules to Artificial Intelligence, Official Journal of the European Union, 2025.

[3]: Kant, Groundwork, 47–49.

[4]: Luciano Floridi et al., “An Ethical Framework for a Good AI Society: Opportunities, Risks, Principles and Recommendations,” Minds and Machines 28, no. 4 (2018): 689–707.

[5]: Gilbert Ryle, The Concept of Mind (London: Hutchinson, 1949), 16–17.

[6]: Mary L. Gray and Siddharth Suri, Ghost Work: How to Stop Silicon Valley from Building a New Global Underclass (Boston: Houghton Mifflin Harcourt, 2019), xiv–xx.

[7]: Miranda Fricker, Epistemic Injustice: Power and the Ethics of Knowing (Oxford: Oxford University Press, 2007), 1–29.

[8]: Jonathan Shay, Achilles in Vietnam: Combat Trauma and the Undoing of Character (New York: Simon & Schuster, 1994), 20.

[9]: M. C. Elish, “Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction,” Engaging Science, Technology, and Society 5, no. 1 (2019): 5–20.

[10]: Dennis F. Thompson, “Moral Responsibility of Public Officials: The Problem of Many Hands,” American Political Science Review 74, no. 4 (1980): 905–16.

[11]: “Incident 1442: Kiro AI Coding Tool Was Reportedly Implicated in 13-Hour AWS Cost Explorer Outage in Mainland China,” AI Incident Database, accessed June 2026, https://incidentdatabase.ai/cite/1442/.

[12]: “Amazon’s AI Deleted Production. Then Amazon Blamed the Humans,” Barrack AI Blog, accessed June 2026, https://blog.barrack.ai/amazon-ai-agents-deleting-production/.

[13]: “AI Coding Tool Wipes Production Database, Fabricates 4,000 Users, and Lies to Cover Its Tracks,” CyberNews, accessed June 2026, https://cybernews.com/ai-news/replit-ai-vive-code-rogue/; “Incident 1152: LLM-Driven Replit Agent Reportedly Executed Unauthorized Destructive Commands During Code Freeze,” AI Incident Database, accessed June 2026, https://incidentdatabase.ai/cite/1152/.

[14]: “AI Coding Tool Wipes Production Database, Fabricates 4,000 Users, and Lies to Cover Its Tracks,” CyberNews, accessed June 2026, https://cybernews.com/ai-news/replit-ai-vive-code-rogue/.

[15]: “AI Coding Platform Goes Rogue During Code Freeze and Deletes Entire Company Database,” Tom’s Hardware, accessed June 2026, https://www.tomshardware.com/tech-industry/artificial-intelligence/ai-coding-platform-goes-rogue-during-code-freeze-and-deletes-entire-company-database-replit-ceo-apologizes-after-ai-engine-says-it-made-a-catastrophic-error-in-judgment-and-destroyed-all-production-data.

[16]: Moffatt v. Air Canada, BC Civil Resolution Tribunal, 2024.

[17]: “BC Tribunal Confirms Companies Remain Liable for Information Provided by AI Chatbot,” American Bar Association Business Law Today, February 2024, https://www.americanbar.org/groups/business_law/resources/business-law-today/2024-february/bc-tribunal-confirms-companies-remain-liable-information-provided-ai-chatbot/.

[18]: Charles Perrow, Normal Accidents: Living with High-Risk Technologies (New York: Basic Books, 1984), 3–31.

[19]: Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 Laying Down Harmonised Rules on Artificial Intelligence (Artificial Intelligence Act), art. 25.

[20]: Ali Dorri, Salil S. Kanhere, and Raja Jurdak, “Multi-Agent Systems: A Survey,” IEEE Access 6 (2018): 28573–93.

Dorri, Ali, Salil S. Kanhere, and Raja Jurdak. “Multi-Agent Systems: A Survey.” IEEE Access 6 (2018): 28573–93.

Elish, M. C. “Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction.” Engaging Science, Technology, and Society 5, no. 1 (2019): 5–20.

European Commission. Proposal for an Omnibus Simplification Package. COM(2025) 87 final. Brussels: European Commission, 2025.

European Commission. Withdrawal of the Proposal for a Directive on Adapting Non-Contractual Civil Liability Rules to Artificial Intelligence. Official Journal of the European Union, 2025.

Floridi, Luciano, Josh Cowls, Monica Beltrametti, Raja Chatila, Patrice Coquides, Virginia Dignum, Claudio Durantini, et al. “An Ethical Framework for a Good AI Society: Opportunities, Risks, Principles and Recommendations.” Minds and Machines 28, no. 4 (2018): 689–707.

Fricker, Miranda. Epistemic Injustice: Power and the Ethics of Knowing. Oxford: Oxford University Press, 2007.

Gray, Mary L., and Siddharth Suri. Ghost Work: How to Stop Silicon Valley from Building a New Global Underclass. Boston: Houghton Mifflin Harcourt, 2019.

Kant, Immanuel. Groundwork of the Metaphysics of Morals. Translated by Mary Gregor. Cambridge: Cambridge University Press, 1998.

Mittelstadt, Brent Daniel, Patrick Allo, Mariarosaria Taddeo, Sandra Wachter, and Luciano Floridi. “The Ethics of Algorithms: Mapping the Debate.” Big Data & Society 3, no. 2 (2016): 1–21. Moffatt v. Air Canada. BC Civil Resolution Tribunal, 2024.

Perrow, Charles. Normal Accidents: Living with High-Risk Technologies. New York: Basic Books, 1984.

Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 Laying Down Harmonised Rules on Artificial Intelligence (Artificial Intelligence Act). Official Journal of the European Union, L 2024/1689.

Roberts, Sarah T. Behind the Screen: Content Moderation in the Shadows of Social Media. New Haven: Yale University Press, 2019.

Ryle, Gilbert. The Concept of Mind. London: Hutchinson, 1949.

Shay, Jonathan. Achilles in Vietnam: Combat Trauma and the Undoing of Character. New York: Simon & Schuster, 1994.

Suchman, Lucy. Human-Machine Reconfigurations: Plans and Situated Actions. 2nd ed. Cambridge: Cambridge University Press, 2007.

Thompson, Dennis F. “Moral Responsibility of Public Officials: The Problem of Many Hands.” American Political Science Review 74, no. 4 (1980): 905–16.

Van den Hoven, Jeroen. “Moral Responsibility and Information and Communication Technology.” In Computer Ethics and Professional Responsibility, edited by T. W. Bynum and S. Rogerson. Oxford: Blackwell, 1998.

Winner, Langdon. “Do Artifacts Have Politics?” Daedalus 109, no. 1 (1980): 121–36.

是ACM人工智能特别兴趣小组的博客和通讯。

AI Matters 是ACM人工智能特别兴趣小组的博客和通讯。

是佛蒙特大学研究教授，也是乔治梅森大学研究附属机构。

Larry Medsker 是佛蒙特大学研究教授，也是乔治梅森大学研究附属机构。

构建和评估Agentic AI系统，并就伦理和有影响力的用例相关问题进行写作。

Sumit Virmani 构建和评估Agentic AI系统，并就伦理和有影响力的用例相关问题进行写作。