详细内容或原文请订阅后点击阅览
为什么将全部控制权交给AI代理人将是一个巨大的错误
AI代理商已经设定了科技行业的气息。与聊天机器人不同，这些开创性的新系统在聊天窗口之外运行，以响应简单的用户命令来导航多个应用程序以执行复杂的任务，例如调度会议或在线购物。随着代理的发展变得越来越有能力，出现了一个关键问题：多少控制……
来源:MIT Technology Review _人工智能以及系统可以同时控制多个信息源时，可能会爆炸。例如，可以访问私人通信和公共平台的代理商可以在社交媒体上共享个人信息。该信息可能不是真的，但是它会在传统事实检查机制的雷达下飞行，并且可以进一步分享以造成严重的声誉损害。我们想象“不是我 - 那是我的经纪人！”很快将是一个普遍的驳斥，以辩解不良结果。
将人类保持在循环中
历史先例证明了为什么维持人类监督至关重要。 1980年，计算机系统错误地表明，超过2,000枚苏联导弹正朝北美前进。此错误触发了紧急程序，这使我们危险地接近灾难。不同的警告系统之间的人类跨验证是多么避免的灾难。如果将决策完全委派给了将速度优先于确定性的自治系统，则结果可能是灾难性的。
在1980年，计算机系统错误地表明，超过2,000枚苏联导弹驶向北美有些人会反对这些收益值得的风险，但我们认为意识到这些好处并不需要投降完全人类控制。取而代之的是，AI代理的发展必须与保证人类监督的发展以及限制AI代理所能做到的范围的方式进行。
开源代理系统是解决风险的一种方法，因为这些系统允许对系统可以和不能做的系统进行更大的监督。在拥抱面孔时，我们正在开发Smolagents，该框架提供了沙盒安全的环境，并允许开发人员在其核心上以透明度构建代理，以便任何独立群体都可以验证是否有适当的人类控制。
Smolagents 沙盒安全环境 负责的开源AI