受管代理团队的基础:DataRobot 和 NVIDIA RTX PRO 4500

将人工智能代理从实验试点转变为全面的企业劳动力需要的不仅仅是一个模型;还需要一个模型。它需要一个硬件基础来平衡高性能推理与行业领先的成本和功耗性能。 DataRobot 已从技术上验证了 NVIDIA RTX PRO 4500 作为 DataRobot 代理劳动力平台的推理引擎,采用 Blackwell 架构。受治理代理劳动力的基础:DataRobot 和 NVIDIA RTX PRO 4500 帖子首先出现在 DataRobot 上。

来源:DataRobot博客

将人工智能代理从实验试点转变为全面的企业劳动力需要的不仅仅是一个模型;还需要一个模型。它需要一个硬件基础来平衡高性能推理与行业领先的成本和功耗性能。

DataRobot 已从技术上验证了 NVIDIA RTX PRO 4500 作为适用于 DataRobot Agent Workforce Platform 的 Blackwell 架构推理引擎。这种组合提供了任务关键型自主代理所需的计算能力和控制能力。

无需过度配置的性能

对于现代 AI 工厂来说,NVIDIA RTX PRO 4500 在 NVIDIA 产品阵容中占据着战略性的中间地带。它配备 32GB 高速 GDDR7 显存、800 GB/s 带宽、FP4 精度和第二代 Transformer 引擎,介于入门级 L4 (24GB) 和高端 L40S (48GB) 之间。

此 32GB VRAM 缓冲区专门针对代理工作流程进行了优化:

  • 本地执行:有足够的空间来托管复杂的 LLM 以及多代理编排层。
  • 低延迟:减少复杂推理任务中的延迟,这对于实时应用程序至关重要。
  • 数据隐私:支持敏感企业数据的本地部署。
  • 已验证的企业用例

    NVIDIA RTX PRO 4500 的性价比在两个高影响力领域表现出色:

    1. 实时物流和业务规划:通过利用 NVIDIA cuOpt,代理商可以解决复杂的路线和调度问题。 NVIDIA RTX PRO 4500 提供并行处理能力,可以在单个节点上与代理的推理 LLM 配合运行这些重型优化引擎。

    从基础架构到编排

    硬件提供原始马力,但 DataRobot Agent Workforce Platform 提供利用该计算以安全、受管控的方式构建有用的客户应用程序的能力。随着组织过渡到自治代理,灾难恢复提供了运行时和构建环境,以充分利用 GPU 的能力。

    运行时

    1/ 无缝可扩展且具有成本效益的推理