详细内容或原文请订阅后点击阅览
AI代理在真实研究中有多好？内部深入研究台报告
随着大型语言模型（LLM）的发展，他们作为强大的研究助理的承诺也很快发展。他们越来越多地回答简单的事实问题 - 他们正在解决“深入研究”任务，这些任务涉及多步推理，评估矛盾的信息，从网络上采购数据并将其合成为连贯的输出。现在，这种新兴能力正在销售[…]帖子在实际研究中的AI代理有多好？在深度研究长凳报告中，首先出现在unite.ai上。
来源:Unite.AI随着大型语言模型（LLM）的发展，他们作为强大的研究助理的承诺也很快发展。他们越来越多地回答简单的事实问题 - 他们正在解决“深入研究”任务，这些任务涉及多步推理，评估矛盾的信息，从网络上采购数据并将其合成为连贯的输出。
大语言模型（LLMS）现在，这种新兴的能力是由主要实验室以不同的品牌名称以不同的品牌销售的 - Openai称其为“深入研究”，人类称为“扩展思维”，Google的Gemini提供了“ Search + Pro”功能，并使他们的“ Pro Search”或“ Pro Search”或“深入研究”。但是这些产品在实践中的效果如何？ Futuresearch的一份新报告，标题为Deep Research Bench（DRB）：评估Web研究代理，迄今为止提供了最严格的评估，结果既显示出令人印象深刻的能力和关键的缺点。
Futuresearch 深度研究台（DRB）：评估网络研究代理什么是深层研究台？
由Futuresearch团队创建，Deep Research Bench是一种精心构建的基准测试，旨在评估AI代理在基于Web的研究任务上的性能。这些不是简单的答案，它们反映了现实世界中分析师，决策者和研究人员面临的混乱，开放式挑战。
基准包括89个不同的任务，例如：
- 查找号码：例如“发生了多少FDA II级医疗设备，发生了多少？”验证索赔：例如“ Chatgpt 10倍能量密集于Google搜索吗？”编译数据集：例如。 “ 2019 - 2023年美国软件开发人员的工作趋势”