详细内容或原文请订阅后点击阅览
自主人工智能的控制平面：为什么治理必须移至系统内部
在过去十年的大部分时间里，人工智能治理在其本应监管的系统之外舒适地生活着。政策已制定。进行了审查。模型获得批准。审计是在事后进行的。只要人工智能表现得像一种工具——按需生成预测或建议——这种分离就基本上有效。这个假设正在被打破。作为人工智能 [...]
来源:O'Reilly Media _AI & ML在过去十年的大部分时间里，人工智能治理在其本应监管的系统之外舒适地生活着。政策已制定。进行了审查。模型获得批准。审计是在事后进行的。只要人工智能表现得像一种工具——按需生成预测或建议——这种分离就基本上有效。这个假设正在被打破。
随着人工智能系统从辅助组件转向自主参与者，外部施加的治理不再具有规模性。问题不在于组织缺乏政策或监督框架。这些控制措施与实际形成决策的地方是分离的。越来越多的情况是，治理能够有效运作的唯一地方是在人工智能应用程序本身内部，在运行时，同时做出决策。这不是哲学上的转变。这是一种建筑风格。
当人工智能悄然失败时
自主人工智能系统更令人不安的方面之一是，它们最严重的故障很少看起来像故障。没有任何崩溃。延迟保持在范围内。日志看起来很干净。该系统的行为是一致的——只是不正确。代理升级了本应包含的工作流程。建议慢慢偏离政策意图。在没有人明确批准但没有违反明确规则的上下文中调用工具。
这些故障很难检测，因为它们来自行为，而不是错误。传统的治理机制在这里没有多大帮助。部署前审查假设可以提前预测决策路径。静态策略假设行为是可预测的。事后审计假设可以从输出中重建意图。一旦系统动态推理、机会主义地检索上下文并持续行动，这些假设就不再成立。到那时，治理并没有消失——它只是用在了错误的地方。