详细内容或原文请订阅后点击阅览
构建代理 AI 的企业环境
对于企业来说,代理人工智能的承诺不仅仅是一个更好的聊天机器人。它是跨人员、业务工作流程、数据和系统端到端执行业务任务的软件代理。最适合运行代理的平台具有适当的 CPU 容量、弹性数据访问、策略感知工具的使用、可观察性、内存管理以及……
来源:MIT Technology Review _人工智能超越推理:代理作为工作流程自动化
Agentic AI 不仅仅是法学硕士推理。其企业价值取决于完整的系统、任务编排、数据访问、工具执行、延迟管理、治理和可扩展的基础设施。代理是一个目标驱动的自动化企业工作流程:它计划多步骤任务、调用工具、读取结果并在出现故障时重试。因此,企业代理不仅仅是一个推理问题,而且是一个推理问题。它们是一个系统问题。
定义什么是好的
大多数代理 AI 指标都侧重于评估所使用的 LLM。平台团队还需要知道任务需要多长时间、一个队列可以支持多少个代理、执行过程结束时用户体验如何,以及随着更多代理同时工作,成本如何变化。
更有用的企业视图着眼于六个指标:
这些共同回答了企业人工智能运营商关心的问题:系统的性能是否符合预期?系统可以支持多少个代理?它应该如何扩展以支持更多代理?
建立在坚实的基础上
为了更深入地了解代理 AI 工作负载性能,英特尔扩展了 Terminal-Bench,这是一个开源基准测试工具,用于评估具有分析、遥测和重放功能的 AI 代理。这使得了解代理在 LLM 推理之外花费时间的情况成为可能。
