上游心态:为什么AI/ML工程师必须超越模型

您的凌晨3点生产警报不是模型问题,这是伪造的上游心态上游危机:为什么AI/ML工程师必须首先出现在数据科学方面。

来源:走向数据科学

在生产中完美工作数周,突然一切都破裂了。也许是您的ML模型的精确度过夜,或者您的LLM代理商未能预订肯定存在的航班。罪魁祸首?很少是模型本身。通常,这是上游表中的架构更改,API重命名的人告诉您有关的信息,或者是一个尚未永远更新的知识库。

您快速添加脆弱的尝试/捕获修复程序来解决问题,以确保数据符合您的系统期望。但是几天后,它再次发生。不同的症状,相同的根本原因:无效,新类别出现,API响应格式会发生变化 - 但是脆弱的补丁只会捕获您的特定修复程序。发生这种情况是因为您不考虑上游。

大多数AI/ML问题实际上不是AI问题,它们是上游设计决策的下游后果。

如果您曾经被有关AI系统损坏的警报唤醒,花了几个小时进行调试,只是为了找到上游数据更改,或者陷入了持续的消防模式,无论您是ML工程师,AI工程师,工程经理还是数据工程师,这都是您的。

在本文中,我们将探讨我开发的上游心态框架以及其“归因翻转测试”,这两者都源自社会心理学概念。

反应性工程的隐藏成本

AI/ML工程师面临着其他工程学科所没有的独特三重威胁:基础架构问题,漂移数据以及AI/ML团队本身引入的变化的下游影响,他们通常在不考虑生产稳定性的情况下对模型性能进行优化。当问题发生时,很容易创建快速补丁而无需问:如何预防?

链接
反应性工程的隐藏成本。作者的图像

上游心态框架

上游心态 基本归因错误 我们倾向于指责个人而不是质疑情况 归因翻转测试 责备它 翻转 责备它: