详细内容或原文请订阅后点击阅览
不要忽视运营基础
自主代理的移动速度超过了现场管理它们的能力，要追赶上来需要的不仅仅是更好的提示或更大的沙箱。在 O’Reilly 最近的 AI Superstream 上，重点关注 OpenClaw 以及更广泛的本地运行和自托管 AI 代理生态系统，五位发言者分别在堆栈的不同层工作，探索了模式 [...]
来源:O'Reilly Media _AI & ML自主代理的移动速度超过了现场管理它们的能力，要追赶上来需要的不仅仅是更好的提示或更大的沙箱。在 O’Reilly 最近的 AI Superstream 上，重点关注 OpenClaw 以及更广泛的本地运行和自托管 AI 代理生态系统，五位发言者分别在堆栈的不同层工作，探讨了解决开发人员在实施代理系统时将面临的许多挑战的模式，从有风险的第三方扩展、幻觉合规性和只有 AI 才能读取的意大利面条代码库，到因模型配置错误、供应链攻击等导致的成本超支。
正如主持人 Alistair Croll 在活动中指出的那样，我们可以通过非确定性技术变得越来越好，但我们永远无法 100% 确定它是否有效。检查正在运行的内容越困难，治理层就越重要。这项工作乏善可陈，对最终用户来说大多是看不见的，而且可能比本季度发布的任何模型功能改进都更重要。
保护代理在执行层执行的操作
Eran Sandler，Canyon Road 的创始人和 AgentSH 背后的团队，在演讲开始时列出了代理可能受到损害的常见方式，包括提示注入、恶意文件、不安全工具、受损的软件包、安装的技能和模型错误。大多数人工智能安全思维都集中在第一个，而忽略了其他五个，但“保护输入框并不能保护操作，”Eran 解释道。
他的建议是在执行层执行，即代理意图与执行意图的操作系统之间的边界。埃兰承认，集装箱隔离限制了爆炸半径，但它并不做出决定。 “墙把东西关在里面。他们不会做出判断。”