在亚马逊基岩代理商中开始使用计算机使用

今天,我们正在使用Anthropic的Claude 3.5十四行诗V2和Anthropic的Claude Sonnet 3.7型号在亚马逊基地上宣布亚马逊基岩代理商中的计算机使用支持。这种集成使人类的视觉感知能力是亚马逊基岩代理中的托管工具,为您提供了一种安全,可追溯和托管的方法,以在工作流程中实现计算机使用自动化。

来源:亚马逊云科技 _机器学习
计算机使用是拟人化的突破性能力,它允许基础模型(FMS)在视觉上感知和解释数字接口。此功能使人类的Claude模型能够识别屏幕上的内容,了解UI元素的上下文,并识别应执行的操作,例如单击按钮,键入文本,滚动和在应用程序之间导航。但是,该模型本身并未执行这些操作 - 它需要一个编排层安全实施受支持的动作。TODAY,我们正在使用Anthropic的Claude 3.5 SONNET V2和Anthropic的Claude Claude Claude Sonnet 3.7型号宣布亚马逊基岩代理中的计算机使用支持。这种集成为亚马逊基石代理中的托管工具带来了人类视觉感知能力,为您提供了在工作流程中实施计算机使用自动化的安全,可追溯和托管的方法。各个行业的组织都与自动化重复的任务自动化的重复任务,这些任务涵盖了多个记录的应用程序和系统。无论是处理发票,更新客户记录还是管理人力资源(HR)文档,这些工作流程通常要求员工在不同系统之间手动传输信息 - 该过程耗时,容易出错且难以扩展。传统自动化方法需要为每个应用程序进行自定义的API集成,并为每个应用程序进行自定义的API集成,从而创造了大量开发的开发费用。计算机使用功能通过允许机器将现有界面视为人类来改变此范式。在这篇文章中,我们创建了一个计算机使用代理演示,该演示提供了关键的编排层,该演示层将计算机使用从感知能力转换为可行的自动化。如果没有这个编排层,计算机的使用只会识别潜在的动作而无需执行这些操作。由亚马逊基岩代理提供动力的计算机使用代理演示可提供以下好处:安全执行环境 - Execu