与 DataRobot 和戴尔一起构建企业代理人工智能工厂

面向生产就绪的代理人工智能的竞赛已经开始,但对于大多数企业来说,终点线仍在不断前进。模型建立起来,试点开始运行,然后团队就碰壁了:在企业规模运行人工智能代理的基础设施、安全性、治理和操作要求比任何单一工具或供应商预期的要复杂得多……这篇文章《与 DataRobot 和戴尔一起构建企业代理人工智能工厂》首先出现在 DataRobot 上。

来源:DataRobot博客

面向生产就绪的代理人工智能的竞赛已经开始,但对于大多数企业来说,终点线仍在不断前进。模型建立起来,试点开始运行,然后团队就碰壁了:在企业规模运行人工智能代理的基础设施、安全性、治理和操作要求比任何单一工具或供应商预期的要复杂得多。在 Dell Technologies World 上,DataRobot 和戴尔展示了当这些部件组合在一起时的样子 - 在您拥有的基础设施上,按照您的条件。今天,DataRobot 还宣布了用于管理工作负载、ACL 和代理身份的新功能。

谁在建造代理人工智能工厂 - 以及什么阻碍了他们

核心挑战不是构建 AI 代理,而是在您自己的基础设施上以安全、可扩展、可靠、合规且经济高效的方式在生产环境中同时运行它们。如今,这需要将开源工具和专有供应商的自定义运行时拼接在一起——昂贵、缓慢,并且在可观察性、治理和成本控制方面仍然存在差距。 IT 领域的每个团队在如何解决问题上都有着不同的利害关系:

  • IT 运维和机器学习运维工程师需要确保 GPU 和 CPU 资源按需可用,昂贵的计算资源不会在工作负载之间闲置,并且任务关键型代理系统在基础设施中断时保持弹性。
  • 开发人员需要持续了解准确性和幻觉率等行为指标以及延迟和成本等运营指标,以及对有毒内容和 PII 的实时干预,以及将代理与跨企业系统的机构知识连接起来的能力。
  • 安全运营团队必须确保代理仅访问他们被授权的内容,而不会成为受限数据的后门,并通过审批工作流程防止未经授权的部署。
  • 将代理投入生产必须解决的四个问题

    DataRobot 和 Dell AI Factory 如何共同解决该问题

    根据您的条件构建、部署和运行