自动决策中的责任:科技法的下一个前沿

随着自动化决策嵌入到日常业务流程中,问责制的需求从理论辩论转变为实际的治理挑战。欧盟人工智能法案和通用数据保护条例等新法规反映了越来越多的共识,即企业应该解释、审计并使个人能够对严重影响[...]的自动决策提出异议

来源:AI Time Journal

随着自动化决策嵌入到日常业务流程中,问责制的需求从理论辩论转变为实际的治理挑战。欧盟人工智能法案和通用数据保护条例等新法规反映出越来越多的共识,即企业应该解释、审计并使个人能够对对其产生重大影响的自动化决策提出质疑。尽管它们都以欧洲为中心,但它们已成为了解政府如何开始处理法律监管的第一个,因此也是主要来源。

对于在生产中部署人工智能模型的高管来说,责任问题不仅仅是一个法律问题,而是一个设计问题․

本节讨论的主题具体涉及公司和机构环境,包括治理结构、文档流程和负责任的 ADM 系统的审查机制․

为什么自动化决策会造成治理差距

自动化决策系统越来越多地用于信用评分、招聘、保险承保、医疗分诊以及欺诈和诉讼分析․相反,它们是社会技术系统,包括数据管道、模型架构、人工审阅者和最终产生模型最终输出的反馈循环․

Cobbe、Lee 和 Singh(2021)提出了可审查性的概念:确保决策过程的每一步,从数据来源到验证和干预策略,都被记录下来․这将焦点从模型可解释性转移到机构可审计性․

在实践中,风险很少仅来自于模型的输出․运营风险来自以下方面:

  • 未记录的数据转换
  • 人为干预的阈值不明确
  • 不完整的推理日志
  • 治理所有权分散
  • 治理的核心是组织责任问题:当系统导致负面或非法结果时,谁负责?

  • 人工监督
  • 透明度