人工智能代理绝对不应该自己做的事情

如何制定规则,使智能体保持有效并避免麻烦人工智能智能体永远不应该自己做的事情首先出现在走向数据科学上。

来源:走向数据科学

重点关注他们能做什么。

自治被设定为目标:给他们工具,给他们访问权,让他们运行。

自由度越大,输出就越好。

这个框架基本上是准确的。我每天都使用代理。他们确实增加了我的产出。我是信徒!

而且,我还因一位完全按照我的要求行事的代理而损失了两个小时的工作时间。

我正在从事功能分支清理工作。

任务描述说“删除未使用的文件并清理存储库。”该代理广义地解释了“未使用”,删除了我几个月没有碰过的配置目录,但仍然从部署脚本中引用,然后继续运行。

我在 diff 审查期间发现了它。该配置不在版本控制中。两个小时根据记忆和 git 历史记录重建它。

任务很明确,代理遵循指示,唯一的问题是没有告诉它在哪里停止。

了解要控制哪些任务是良好运行代理的一部分。在错误的类别上给予他们充分的自由,你将花一个下午的时间来撤销他们花了三十秒的时间。

嘿那里!我的名字是 Sara Nóbrega,我教您如何成为 Learn AI 上的 AI 高级用户。免费订阅!

代理永远不应该单独触摸的内容

有些任务是可逆的。例如,可以恢复重构的函数或删除新的单元测试。错误的成本很低。

恢复成本因任务而异。重构的函数需要几秒钟才能恢复;您只需恢复提交,但如果可以恢复,则删除的生产表可能会花费您整整一周的时间。

运行任务之前的问题:可以撤消吗?

如果是,则让代理移动。如果不是,请在运行之前添加检查点。

这是我工作的权限矩阵:

应该始终需要人类的类别

某些类别需要人工检查点,无论任务的指定程度如何。

错误的风险太高,恢复成本太高,无法让代理自行决定。

  • 破坏性文件操作
  • `rm -rf`、`git clean -fd`、`git reset --hard`。