在 Amazon Bedrock 上将 NVIDIA Nemotron 3 Nano 作为完全托管的无服务器模型运行

我们很高兴地宣布,NVIDIA 的 Nemotron 3 Nano 现已在 Amazon Bedrock 中作为完全托管的无服务器模型提供。此前,我们在 AWS re:Invent 上宣布支持 NVIDIA Nemotron 2 Nano 9B 和 NVIDIA Nemotron 2 Nano VL 12B 型号。本文探讨了 NVIDIA Nemotron 3 Nano 模型的技术特征并讨论了潜在的应用用例。此外,它还提供技术指导,帮助您开始在 Amazon Bedrock 环境中将此模型用于生成 AI 应用程序。

来源:亚马逊云科技 _机器学习

本文由 NVIDIA 的 Abdullahi Olaoye、Curtice Lockhart 和 Nirmal Kumar Juluru 共同撰写。

我们很高兴地宣布,NVIDIA 的 Nemotron 3 Nano 现已在 Amazon Bedrock 中作为完全托管的无服务器模型提供。此前,我们在 AWS re:Invent 上宣布支持 NVIDIA Nemotron 2 Nano 9B 和 NVIDIA Nemotron 2 Nano VL 12B 型号。

借助 Amazon Bedrock 上的 NVIDIA Nemotron 开放模型,您可以加速创新并提供切实的业务价值,而无需管理基础设施的复杂性。您可以通过 Amazon Bedrock 的推理功能,利用 Nemotron 的功能为您的生成式 AI 应用程序提供支持,并利用其广泛的功能和工具的优势。

本文探讨了 NVIDIA Nemotron 3 Nano 模型的技术特征并讨论了潜在的应用用例。此外,它还提供技术指导,帮助您开始在 Amazon Bedrock 环境中将此模型用于生成 AI 应用程序。

关于 Nemotron 3 Nano

NVIDIA Nemotron 3 Nano 是一种小型语言模型 (SLM),具有混合专家混合 (MoE) 架构,可提供高计算效率和准确性,开发人员可以使用它来构建专门的代理 AI 系统。该模型完全开放,具有开放权重、数据集和配方,有助于提高开发人员和企业的透明度和信心。与其他类似尺寸的模型相比,Nemotron 3 Nano 在编码和推理任务方面表现出色,在 SWE Bench Verified、AIME 2025、Arena Hard v2 和 IFBench 等基准测试中处于领先地位。

模型概述:

  • 架构:
  • 专家混合 (MoE) 与混合 Transformer-Mamba 架构
  • 支持代币预算,以提供准确性,同时避免过度思考
  • 准确度:
  • 在编码、科学推理、数学、工具调用、指令遵循和聊天方面具有领先的准确性
  • 模型大小:30 B,具有 3 B 活动参数
  • 上下文长度:256K
  • 模型输入:文本
  • 模型输出:文本
  • 模型基准

    结论