不要让克劳德给自己的作业评分

在 GitHub Actions 中使用 Codex 进行跨提供商 PR 审查,以及为什么来自不同实验室的第二意见胜过任何自我审查这篇文章“不要让 Claude 给自己的作业评分”首先出现在 Towards Data Science 上。

来源:走向数据科学

我有几个并行的克劳德代理为我写了一个副项目的策略文件夹。拉取请求看起来很棒:十个文档,全部整齐地交叉链接,而且读起来很好。然后自动审阅者发布了其发现,值得赞扬的是,克劳德没有反对:

完整审计结果显示:95个相关链接中有30个指向不存在的文件../market.md而不是market-analysis.md,./monetization.md而不是business-model.md,有些文件甚至完全是编造的!作为一个人,浏览一下这份公关,我会批准它,因为它们每一个看起来都有道理。幸运的是,我的自动审阅器发现了它,因为它解析了每个链接,而不是判断名称是否“听起来”正确。

公平地说,克劳德这背后并没有什么恶意。语言模型只是生成最可信的延续,有时最可信的延续是完全自信地交付的小说。但从阅读的角度来看,这种区别并没有带来多少安慰。自信和错误读起来就像自信和正确一样。

这篇文章是关于我用来帮助我审查 Claude 的错误和幻觉的系统:一个在 GitHub Actions 中运行的 Codex 代理,用于审查每个拉取请求。它会引导您完成我的设置,为什么跨提供商审查优于自我审查和人工阅读所有内容的审查,如何在审查循环中加强记忆和责任,我一路上收集的成本和可靠性知识,以及我用来完成这项工作的实际代码。

代理吞吐量打破了人工审核循环

洞察:幻觉是不变的,吞吐量是变化的。任何需要人工阅读每一行的流程都会限制代理的阅读速度,因此第一次审核必须自动化。

选择一位不存在作者盲点的审稿人

管道:普通工程中包含的一个 LLM 调用

那么我到底在使用什么呢?他们查看的存储库中存在两个文件: