使用 NVIDIA Nemotron 3 Super 通过 DataRobot 构建企业级 Agentic AI

随着 NVIDIA Nemotron 3 Super 的到来,组织现在可以使用专为协作、多代理企业工作负载而构建的高精度推理模型。 Nemotron 3 Super 完全开放,可以在任何地方进行定制和安全部署。然而,拥有像 Nemotron 3 Super 这样强大的大语言模型 (LLM) 只是一个起跑线。真正的...使用 NVIDIA Nemotron 3 Super 与 DataRobot 构建企业级 Agentic AI 帖子首先出现在 DataRobot 上。

来源:DataRobot博客

随着 NVIDIA Nemotron 3 Super 的到来,组织现在可以使用专为协作、多代理企业工作负载而构建的高精度推理模型。 Nemotron 3 Super 完全开放,可以在任何地方进行定制和安全部署。然而,拥有像 Nemotron 3 Super 这样强大的大语言模型 (LLM) 只是一个起跑线。真正的挑战是将强大的推理引擎快速转变为您的企业可以信赖的生产级系统,以便使用法学硕士无缝构建人工智能代理和应用程序。

这就是 DataRobot 的用武之地。在这篇文章中,我们将介绍 DataRobot 与 NVIDIA 共同设计的 Agent Workforce Platform 如何直接、快速地将 Nemotron 3 Super 从独立的大型语言模型 (LLM) 转变为完全部署、评估、监控和治理的生产系统,企业可以信任并使用该系统来无缝构建其 AI 代理和应用程序。我们还将探讨为什么掌握这些步骤对于成功部署专门的代理人工智能系统至关重要。

仅拥有出色的法学硕士是不够的

Nemotron 3 Super 是一个功能强大的 1200 亿参数混合 Mamba-Transformer MoE 模型,针对 IT 自动化和供应链编排等企业多代理任务进行了优化,拥有 100 万代币上下文窗口。然而,从试点到可靠生产的转变充满挑战;麻省理工学院的研究表明,95% 的 GenAI 试点失败,不是因为模型的功能,而是因为周围部署基础设施的问题。

在为企业应用程序和代理部署任何 LLM 之前,组织必须解决五个关键领域:

  • 评估和比较:根据行为指标(准确性、幻觉)和操作指标(成本、延迟)彻底评估模型。使用法学硕士作为法官、专有、标准或合成数据集以及比较评估,通常会通过人工输入进行增强。
  • 工作流程如下: