详细内容或原文请订阅后点击阅览
Anthropic：人工智能研究需要放慢脚步
主要原因是失去对能够递归自我改进的模型的控制的风险。
来源:OSP网站大数据新闻来自世界领先人工智能公司之一的开发人员发出了令人震惊的警告。他们认为，社会需要做好准备放慢人工智能领域的研究，以防止模型脱离人类的控制。主要原因是失去对能够递归自我改进的系统的控制的风险。
人类研究所的首席研究员 Marina Favaro 和公司联合创始人 Jack Clarke 描述了技术开发的三种可能的方向。
1. AI能力的增长已达到平台期并放缓。
2. 模型效率的提高将继续，但会在软件开发的其他领域遇到瓶颈。
3. AI 能够完全递归地自我改进，并开始独立创建其后继者。
正是这第三种情况引起了研究人员的最大担忧，并促使他们放慢了人工智能的发展速度。
虽然 Anthropic 的警告涉及人工智能的未来发展，但分析人士表示，随着自主人工智能代理从回答问题转向采取行动，这一警告现在是有意义的。今天的问题不仅是人工智能是否给出了正确的答案，而且还在于自治系统是否在正确的时间、在适当的权限内采取了正确的行动。
Anthropic 发出警告之际，企业对基于代理的人工智能的投资不断增加。 Gartner 预测，到 2028 年，15% 的日常工作决策将使用基于代理的人工智能自主做出，三分之一的企业软件应用程序将支持此功能。管理上的短板已经显而易见。到 2027 年，预计 40% 的企业在生产环境中的管理故障变得明显后将降级或淘汰自主代理。