详细内容或原文请订阅后点击阅览
发现并避免 Agentic AI 中的 ROT
以下文章最初出现在 Q McCallum 的博客上，经作者许可在此重新发布。生成式人工智能代理和流氓交易员对其雇主构成了类似的内部威胁。具体来说，我们可以预期公司将部署影响范围广泛但监管不足的代理人工智能。这为 [...] 的特定风味创造了条件
来源:O'Reilly Media _AI & ML以下文章最初出现在 Q McCallum 的博客上，经作者许可在此重新发布。
生成式人工智能代理和流氓交易员对其雇主构成类似的内部威胁。
具体来说，我们可以预期公司会部署影响范围广泛且监管不足的代理人工智能。这为特定类型的长期问题创造了条件，进而为相关公司以及与他们开展业务的任何人带来了新的风险暴露。机器人和流氓交易员能够对雇用他们的公司造成相当大的、有时甚至是生死存亡的损害。
主要区别在于范围：流氓交易员在投资银行运作，而代理人工智能将部署到更广泛的公司和垂直行业。因此，代理人工智能可能会比流氓交易者产生更多的问题，并使更多的资本面临风险。
我将此风险暴露命名为 ROT（流氓操作员威胁），本文档简要解释了它是什么以及如何解决它。
（我几乎将其称为 RAT，A 代表“代理”，但后来意识到它适用于任何类型的自动化系统。因此我将范围扩大到“操作员”。）
为了做好准备，让我们去交易大厅看看：
了解流氓交易者
流氓交易员丑闻遵循相同的故事情节：
这个循环一直持续到他们被抓住为止，此时银行将遭受巨额损失（有时高达数十亿美元），交易者将面临法律后果。
这时您会问：专业的交易操作怎么可能让如此多的不良交易溜走而不被发现？交易员如何伪造记录？交易大厅不是充满电子审计追踪的高科技操作吗？
答案是：很复杂。