详细内容或原文请订阅后点击阅览
使用 Agent-EvalKit 系统地评估 AI 代理
Agent-EvalKit 是一个开源工具包 (Apache 2.0)，它通过与 AI 编码助手（包括 Claude Code、Kiro CLI 和 Kilo Code）集成来提供此评估基础架构。本文以使用 Strands Agents SDK 和 Amazon Bedrock 构建的旅行研究代理作为运行示例，介绍了 Agent-EvalKit 在六个评估阶段的工作原理。
来源:亚马逊云科技 _机器学习构建人工智能代理的团队通常会像评估任何其他软件一样评估它们：检查输出是否符合预期。但是，自主选择工具并跨多个源排序操作的代理会产生输出级测试无法完全表征的行为。
代理可能会提供结构良好、可操作的响应，同时产生幻觉、捏造事实，因为其工具返回空结果。它还可能得出正确的结论，同时跳过可靠过程所需的验证步骤。由于这些故障位于最终响应的表面之下，因此捕获它们需要跟踪代理的完整执行路径进行评估：代理调用了哪些工具，这些工具返回了哪些数据，以及响应是否忠实地反映了该数据。
缩小这一差距需要基础设施，而大多数代理团队都没有足够的人员从头开始构建这些基础设施。您需要具有真实结果的测试用例、用于捕获工具调用和中间状态的可观测性仪器，以及评估可信度和工具使用情况以及表面准确性的指标。
Agent-EvalKit 是一个开源工具包 (Apache 2.0)，它通过与 AI 编码助手（包括 Claude Code、Kiro CLI 和 Kilo Code）集成来提供此评估基础架构。它将整个工作流程带入您的开发环境，而不是将评估视为单独的部署后工作。您用自然语言描述您的评估目标，工具包处理每个阶段，从阅读代理的源代码和生成目标测试用例，到运行评估，再到生成包含引用代码库中特定位置的改进建议的报告。接下来的部分将使用使用 Strands Agents SDK 和 Amazon Bedrock 构建的旅行研究代理作为运行示例，介绍 Agent-EvalKit 在六个评估阶段的工作方式。