详细内容或原文请订阅后点击阅览
人工智能的递归自我完善可能不会来得那么快
人工智能行业目前最大胆的承诺是，人工智能将很快自我改进，几乎不需要人类监督。法学硕士已经可以编写代码、生成用于训练的合成数据并优化其运行的计算机芯片。对人工智能爆炸性进展的预测表明，研究人员所说的递归自我改进即将到来。...
来源:MIT Technology Review _人工智能“另一方面，代理人在开展研究本身方面无疑表现不佳，”卡普尔说。他们进行了奇怪的实验（在某些情况下，在微小的合成数据集上测试他们的假设），努力以易于理解的方式写下他们的工作，并且没有对他们的领域做出任何新的贡献。 “就顶级人工智能会议的质量而言，这些论文远未达到标准，”他说。
这是因为特工们很难聚集进行研究所需的创造力和判断力。他们没有采取足够的措施来探索不同的想法，并且过快地采取了没有希望的方法。 Though the agents developed novel and ambitious hypotheses resembling those that the original authors themselves started with, they rejected them on the basis of very limited data.而且他们无法从失败的方法中走回头路。他们可以做出小调整，但无法从根本上重新思考他们的方法或从头开始尝试新方法。
代理也未能纳入来自子代理或外部人工智能审查工具的反馈。代理人没有修改他们的方法，而是缩小了他们的主张并增加了警告。他们也无法有效地使用资源，例如代币、计算和时间。 And they couldn’t follow instructions about things like how much time to spend on different phases of the research or how long their paper could be.
For all their failures, the agents didn’t engage in the misbehavior that researchers call “reward hacking,” hiding or misrepresenting experiments or data. Although subagents, or helper AIs that the main agent spawns to handle pieces of the work, occasionally hallucinated or misrepresented the results, these were caught by the orchestrator agent, the lead AI supervising the project.