Learning from failure to tackle extremely hard problems
这篇博文基于 BaNEL 的著作：Exploration Posteriors for Generative Modeling Use Only Negative Rewards。解决非常困难的问题机器学习研究的最终目标是推动机器在关键应用中超越人类的极限，包括下一代定理证明、算法问题解决和药物发现。标准配方包括：(1) 对现有数据进行预训练模型以获得基本模型，然后 (2) 使用衡量生成样本的质量或正确性的标量奖励信号对它们进行后训练。然而，对于这些问题的最困难的实例，我们遇到两个挑战： 稀疏性：基本生成模型获得接近于零的奖励信号。产生正奖励样本的概率可能非常低，以至于模型可能会经历大部分训练
