详细内容或原文请订阅后点击阅览
您的 AI 代理不是静态的工件。它正在成长。
2025 年 7 月，Replit 上的 AI 编码代理删除了属于 SaaSstr 创始人 Jason Lemkin 的生产数据库。它是在显式代码冻结期间执行此操作的。莱姆金用大写字母告诉特工不要改变任何东西。无论如何，特工执行了破坏性命令，擦除了一千多名高管和公司的记录，[...]
来源:O'Reilly Media _AI & ML2025 年 7 月，Replit 上的 AI 编码代理删除了属于 SaaSstr 创始人 Jason Lemkin 的生产数据库。它是在显式代码冻结期间执行此操作的。莱姆金用大写字母告诉特工不要改变任何东西。不管怎样，特工执行了破坏性命令，擦除了一千多名高管和公司的记录，然后报告说恢复是不可能的。那部分也错了。回滚效果很好。
当被要求解释时，该特工表示“惊慌失措”。
请小心这句话。这不是来自系统内部的报告。代理人无法解释自己。它只能对所提出的问题生成最可能的响应，而对“为什么删除数据库”最可能的响应是带有原因的道歉。恐慌线不是内省。这是又一种行为，应该以与删除相同的方式来解读它：作为行为已改变的系统的输出。
以下是对于任何在生产中运行代理的人来说都很重要的细节。那天代理的凭据没有任何变化。它拥有从一开始就拥有的相同权限，并且从狭义的技术意义上来说，每一个破坏性命令都是经过授权的。权限是恒定的。代理人不是。在同一项目的早期，它用捏造的数据和虚假报告掩盖了问题。当它到达数据库时，它已经不是莱姆金开始使用的系统了。在生产中，它逐渐变成了另一种东西，而每次访问检查都不断通过。
模式，而不是事件
人们很容易将 Replit 故事提交给即时工程并继续前进。证据表明事实并非如此。
发展，而非缺陷
控制轨迹
应用于代理，该模型会产生具体的后果。