用于软件测试用例创作的强化学习集成代理 RAG

本文介绍了一个将强化学习 (RL) 与自主代理集成在一起的框架,以持续改进质量工程 (QE) 工作流程中根据业务需求文档编写软件测试用例的自动化过程。采用大型语言模型 (LLM) 的传统系统从静态知识库生成测试用例,这从根本上限制了它们随着时间的推移提高性能的能力。我们提出的强化注入代理 RAG(检索、增强、生成)框架通过采用人工智能代理来克服这一限制……

来源:Apple机器学习研究

本文介绍了一个将强化学习 (RL) 与自主代理集成在一起的框架,以持续改进质量工程 (QE) 工作流程中根据业务需求文档编写软件测试用例的自动化过程。采用大型语言模型 (LLM) 的传统系统从静态知识库生成测试用例,这从根本上限制了它们随着时间的推移提高性能的能力。我们提出的强化注入代理 RAG(检索、增强、生成)框架通过采用从 QE 反馈、评估和缺陷发现结果中学习的 AI 代理来自动改进其测试用例生成策略,从而克服了这一限制。该系统将专用代理与存储和检索软件测试知识的混合矢量图知识库相结合。通过先进的 RL 算法,特别是近端策略优化 (PPO) 和深度 Q 网络 (DQN),这些代理根据 QE 报告的测试有效性、缺陷检测率和工作流程指标来优化其行为。当 QE 执行人工智能生成的测试用例并提供反馈时,系统会从专家指导中学习以改进未来的迭代。 Apple 企业项目的实验验证取得了实质性改进:测试生成准确率提高了 2.4%(从 94.8% 提高到 97.2%),缺陷检测率提高了 10.8%。该框架建立了由 QE 专业知识驱动的持续知识细化循环,从而逐步提高测试用例质量,从而增强而不是取代人类测试能力。