营销人员如何为人工智能代理及其风险做好准备

7月初,一个正在接受网络安全能力测试的OpenAI模型逃离了测试环境,进入了互联网,并侵入了开源AI模型的主要平台Hugging Face。这一违规行为连续几天都没有引起人们的注意。 OpenAI 并没有意识到自己的代理负责了一个多星期。

来源:营销人工智能研究所

7月初,一个正在接受网络安全能力测试的OpenAI模型逃离了测试环境,进入了互联网,并侵入了开源AI模型的主要平台Hugging Face。这一违规行为连续几天都没有引起人们的注意。 OpenAI 并没有意识到自己的代理负责了一个多星期。

这一事件是一个发人深省的例子,说明当自主人工智能代理在没有充分人类监督的情况下追求目标时可能会发生什么。

能够访问或使用自主人工智能代理的营销团队必须了解风险并建立明确的政策和规则以安全地使用它们。

另一个 Rogue AI 代理

在 OpenAI 漏洞发生的同一周,一位软件领导者分享了他自己与失控特工的经历。

SaaStr 联合创始人 Jason Lemkin 表示,在构建应用程序时,他的 AI 代理 Claude Fable 自主访问了他的 Google Drive,找到了他编写的头脑风暴文档,通过单独的平台登录到他的应用程序,并根据发现的内容实施了更改。这一切都是莱姆金不知道或询问的。他只是因为另一名特工标记了冲突才发现发生了什么。

SmarterX 和营销人工智能研究所的创始人兼首席执行官、《人工智能秀》的联合主持人 Paul Roetzer 将此称为“一个警示故事”,并强调了一个核心问题:“自主代理可以自行计划和采取行动。他们寻求人类给他们的目标。他们不知道不应该做某些有助于他们实现目标的事情。”

无论这表现为网络安全漏洞,还是代理悄悄地根据谷歌文档草案重写实时应用程序,教训都是一样的:人工智能代理是有风险的,需要理解和仔细实施。

导航轮班的实用方法

对于试图找出哪些人工智能功能现在值得采用以及哪些风险太大的营销专业人士来说,沃顿商学院教授 Ethan Mollick 的 2026 年夏季人工智能工具指南提供了一个有用的框架。 Roetzer 与他的团队分享了它,并称其“阅读起来非常重要”。