Anthropic 的最新 Claude 型号可以与计算机交互——会出什么问题?

首先,它可以对自己发起即时注入攻击……人工智能初创公司 Anthropic 的 Claude 3.5 Sonnet 模型的最新版本可以使用计算机——开发人员听起来这是一件好事。

来源:The Register _恶意软件

AI启动人类的Claude 3.5十四行诗模型的最新版本可以使用计算机 - 开发人员听起来好像是一件好事。

“为什么这个新能力很重要?” AI Biz在其庆祝博客文章中大声构想。然后它回答了自己的问题:“大量现代工作通过计算机发生。使AIS能够以相同的方式与计算机软件直接互动,就像人们这样做的方式相同,而当前一代的AI助手无法实现大量的应用程序。”

博客文章

当前的AI助手当然已被证明能够与计算机互动 - 给定多模式输入和输出功能,适当的中间件,例如浏览器自动化工具puppeteer或playwright,以及语言模型集成框架(例如langchain)。

仅一周前,Django共同创建者,开源开发人员和AI影响者Simon Willison发布了一份报告,该报告涉及Google AI Studio在屏幕刮擦中的表现。他发现AI Studio可以摄入他的电子邮件收件箱中的屏幕截图视频,以在邮件邮件中提取数字值并在电子表格中返回结果。

报告

因此,多模型模型可以非常有效地读取计算机屏幕。人类已授权其Claude模型更直接地与计算机交互。

Claude 3.5十四行诗的最新迭代通过允许模型“理由”有关计算机状态的原因,并采取诸如调用应用程序或服务之类的操作来扩展响应选项。

Anthropic正在为所谓的计算机使用工具提供公共Beta测试 - 本质上是允许模型与计算机键盘进行交互的功能,以键入,移动鼠标指针,单击,以获取屏幕截图,等等。还有一个文件系统编辑器工具用于查看,创建和编辑文件。并且有一个工具允许模型运行bash命令等。

计算机使用工具 使用计算机的键盘 文件系统编辑器工具 运行bash命令