代理AI 102:护栏和代理评估
对工具的简介,使您的模型更安全,更可预测和性能。后代AI 102:护栏和代理评估首先出现在数据科学方面。
来源:走向数据科学在本系列的第一篇文章(代理AI 101:启动您的旅程构建AI代理)中,我们讨论了创建AI代理的基本原理,并介绍了推理,记忆和工具等概念。
代理AI 101:开始您的旅程构建AI代理当然,第一篇文章仅触及了数据行业的新领域的表面。还有很多事情可以做,我们将在本系列中学习更多。
因此,是时候迈出一步了。
在这篇文章中,我们将介绍三个主题:
- 护栏:这些是防止大型语言模型(LLM)对某些主题做出回应的安全块。代理评估:您是否曾经考虑过LLM的响应的准确性?我敢打赌你做到了。因此,我们将看到测量该测量的主要方法:我们还将在AGNO框架中了解内置监视应用程序。
我们现在将开始。
我认为,我们的第一个主题是最简单的。护栏是使AI代理响应给定主题或主题列表的规则。
我相信,您很有可能会要求一些东西来聊天或双子座,并收到诸如“我不能谈论这个话题”或“请咨询专业专家”之类的答复。通常,这是出于敏感主题,例如健康建议,心理条件或财务建议。
想一想有多少个故事,这些人通过遵循在线论坛的投资提示损失了钱。或有多少人服用了错误的药物,因为他们在互联网上阅读了它。
在Internet上阅读有关它的信息 [1] [3] 限制到主题