作为AI功能,越来越多地超过了人类在复杂任务中的水平,当前的一致性技术在内,包括SFT和RLHF在确保可靠的监督方面面临着基本挑战。这些方法依赖于直接的人类评估,并且当AI输出超过人类认知阈值时变得站不住脚。应对这一挑战,我们探讨了两个假设:(1)对批评的行为比批评本身更容易,从而扩展了广泛认可的观察,即验证比批评本身是一种专业的一代形式,而对cripique领域来说比生成更容易。 (2)这种难度关系被递归地持有,表明当直接评估是不可行的,进行高阶的文献(例如,对批评批评的批评)提供了更可拖延的监督途径。考试这些假设,我们在多个任务中执行人类,人类和AI-AI实验。我们的结果表明,支持这些假设和表达的令人鼓舞的证据表明,递归自我批判是可扩展监督的有前途的方向。