详细内容或原文请订阅后点击阅览
AI可以像人类一样控制计算机
Anthropic 推出了 Claude 3.5 Sonnet，这是一种能够像人类一样控制计算机的新型 AI 模型。该模型使用桌面屏幕截图来导航应用程序并执行单击、键入和收集信息等任务。
来源:QudataAI 可以像人类一样控制计算机
Anthropic 对其 AI 产品线进行了重大升级，推出了 Claude 3.5 Sonnet 模型，该模型拥有前所未有的 AI 像人类一样控制计算机的能力。这项新功能恰如其分地命名为“计算机使用”，目前处于公开测试阶段，允许开发人员通过观察屏幕截图和复制人类动作来指示 Claude 与桌面交互、单击按钮，甚至输入文本。
Claude 3.5 Sonnet 模型与微软和 OpenAI 等其他科技巨头不同，它们展示了类似的功能，但将其工具限制在查看屏幕而没有完全的操作控制上，而 Anthropic 迈出了大胆的一步。Claude 3.5 现在可以完全与应用程序交互并自动化工作流程 - 有可能将流程从研究转变为常规管理任务。
AI 像人类一样直接在计算机上工作的想法并不完全新颖。多年来，专门从事机器人流程自动化 (RPA) 的公司一直提供类似的工具，但 Anthropic 的方法将 AI 与 RPA 传统上所缺乏的通用性和灵活性相结合。Claude 3.5 的计算机使用功能不是使用预设的自动化脚本，而是让开发人员能够使用自然语言来指导 AI，指示它处理重复性任务、进行开放式研究，甚至执行更复杂的操作。
Anthropic 通过 API 集成了此功能，允许用户要求 Claude 执行诸如从各种来源收集数据并填写表格或从多个应用程序汇编信息等操作。该模型通过一系列屏幕截图“查看”屏幕上的内容来运行，这些屏幕截图将其拼凑在一起以形成桌面的统一视图。然后，根据提供的说明，它模拟移动光标、单击按钮或键入等操作。