详细内容或原文请订阅后点击阅览
提高人工智能代理的速度和能效
名为 Murakkab 的新系统优化了支持 AI 应用程序的多步骤工作流程的设计和部署。
来源:MIT新闻 - 人工智能代理工作流程是人工智能驱动的软件系统，它将多个模型和外部工具链接在一起以处理复杂的任务，例如分析视频并回答有关视频的问题。
但这些高度分散的系统的设计和部署方式通常会导致效率低下，从而导致计算、能源和成本的浪费。
为了提高效率，麻省理工学院和微软的研究人员开发了一种智能系统，可以简化代理工作流程的设计过程，并自动优化这些工作流程的实施方式。
通过这种新方法，开发人员可以用简单的语言描述他们希望代理工作流程执行的操作，而无需提前指定应用程序的所有详细信息。
当云提供商执行工作流程时，系统会自动找出要使用的最佳模型和工具，以及理想的硬件配置和计算资源分配。
它会根据每个用户的优先级（例如最小化成本或最大化速度）动态调整这些配置。
在多个代理工作负载上进行测试时，这个新系统减少了部署所需的计算单元数量，与传统方法相比，显着降低了能源需求和成本，而不会影响性能。
“代理工作流程变得非常复杂，并很快成为云提供商所做工作的支柱。能源使用是一个巨大的问题，因此我们需要非常小心这些工作流程的效率。很容易过度分配资源，浪费能源和金钱。让云提供商能够智能地使这些工作流程更加资源优化，对每个参与者来说都是一个胜利，”电气工程和计算机科学 (EECS) 研究生、论文的主要作者 Gohar Chaudhry 说道在这个系统上。
配置难题
这些工作流程可以充当为面向用户的应用程序提供支持的幕后流程。