人工智能决策的贝叶斯护栏:在自动化决策之前测量不确定性

人工智能系统不应仅仅因为可以提供预测而自动做出决策。决策系统应该考虑预测的不确定性,如果错误代价高昂,则应推迟决策。人工智能决策的后贝叶斯护栏:在自动化决策之前测量不确定性首先出现在《走向数据科学》上。

来源:走向数据科学

大多数生产中的人工智能系统都经过优化以提供答案。

高风险客户。预测模型可以预测需求。分析代理可能会建议重新分配营销预算。结果通常显示为数字或类别。有时它会立即变成一个行动。

这种格式可以使模型看起来比实际更确定。即使实际结果从下降到大幅增长,8% 的增长预测看起来还是准确的。高风险客户可能刚刚高于任意设定的阈值。看似无利可图的营销活动可能仍在等待延迟的转化。

一旦预测触发自动操作,隐藏的不确定性就会变成操作风险。

另一方面,贝叶斯方法通过概率分布而不是通过单个估计值来映射不确定性。

但仪表板上更宽的间隔是不够的。系统应该利用不确定性来决定何时可以单独行动、何时需要审查以及何时应该放弃。

自动化改变了不确定性的成本

每个分析系统都存在不确定性,无论是测量还是忽略。

当人类分析师查看仪表板时,他们可以暂停并仔细查看数据,然后再采取行动。他们注意到一个异常值并检查数据是否完整。他们可能会将其与历史模式进行比较,并从另一个团队获取背景信息。

自动化消除了许多这样的停顿。

人工智能系统可以评估数千个案例并在几秒钟内采取行动。如果模型可靠,这个速度很有用。但如果它确实是错误的,那么错误就会成倍增加。 NIST 人工智能风险管理框架将人工智能风险视为上下文,并建议组织捕获和衡量风险,以便它们在整个系统生命周期中保持可控。

仅有准确性是不够的。剩余的不确定性必须足够低,系统才能负责任地执行建议的操作。

点估计隐藏决策相关信息