Microsoft的一项新研究表明，在故障排除代码方面，AI模型仍面临重大挑战。尽管这些模型已经变得越来越先进，并且可以从头开始编写功能代码，但是故障排除是完全不同的事情。就像他们可以建造房屋，但找不到泄漏的起重机。该研究发表在微软的研究博客上，介绍了一个名为Debug Gym的环境。在这里，AI模型经过培训，可以与人类程序员相同的方式识别和修复错误。但是结果表明，人们和人工智能如何处理问题之间存在明显的区别。人们使用逻辑，直觉和经验，而AI模型依靠模式识别和统计概率。结果混合在一起：Claude 3.7十四行诗的表现最佳，成功率为48.4％OpenAI的O1和O3-Mini的成功率分别较低的30.2％和22.1％，并且可以使用故障排除工具，而简单的代理很少解决问题数据的一半以上。微软研究人员将次优绩效归因于缺乏代表顺序决策的数据。 AI为什么在故障排除方面挣扎：微软的研究人员解释了挑战：“我们认为这是由于缺乏代表内部决策的数据所致（例如，当模型获得访问故障排除工具时，绩效提高了，这是一个有希望的研究方向。当今的AI编码工具可以增加生产力，并在提出的工具中求解无效的工具，但何时又不地求助于该工具，但在此范围内，何时又不涉及人类的信息。