设计循环,而不是提示

但不要让模型自行检查“设计循环,而不是提示”帖子首先出现在《走向数据科学》上。

来源:走向数据科学

“我们不再编写提示。我们设计循环。” ——2026 年 6 月 Anthropic 的某人

代理循环,自我批评没有比什么都不做更好。确定性的、源锚定的验证器将幻觉率降低了大约一半。

这句话是几周前的,感觉已经很真实了。我们不再调整一个完美的提示,而是开始构建尝试检查自己的工作并通过多个步骤进行改进的系统。一个可以修改的模型比一个回答一次就停止的模型更有价值。在这一点上,路线是正确的。

它遗漏的是账单。循环比单个调用更难验证:通过一次调用检查一个输出,但在循环中,每个步骤都可能发生漂移,并且每次迭代可能出错的方式都会增加。困难的部分不再是生成。它成为验证。或者,如果您愿意的话:了解循环是否正确。而默认的验证方式——让模型检查自己的工作——结果却是链条中最薄弱的环节。

所以这不是与“设计循环,而不是提示”的争论。这是它隐藏的、测量的陷阱:这个实验用数字和方法说服了我,所以你可以自己检查一下。

验证表面随着每一步而增长

单个调用有一个地方是错误的:答案。三步循环包括初稿、对草案的批评、修订、对修订的批评和决定停止。其中每一个都是模型输出,并且每一个都可能是错误的。您没有通过添加循环来消除验证问题。你乘以它。

循环根据自己的判断进行操作。如果支票显示“良好”,循环就会停止并发货。如果检查错误,循环就会出错——更糟糕的是,它可能会在迭代中不断修正该错误,直到它读起来令人信服。循环的可信度取决于它所验证的内容。

最薄弱的环节:模型对自己的作品进行评分

我想测量它。

一种不同类型的检查:确定性和源锚定

实验

结果