借助 NVIDIA 全新低成本 AI 超级计算机,您可以运行本地 AI

NVIDIA 推出了名为“Super”的 Jetson Orin Nano 开发套件更新,该套件将生成式 AI 的性能提升高达 70%,且价格降至 249 美元。据 NVIDIA 自己的博客报道,此次升级带来了 AI 处理和内存带宽的显着改进,使其成为机器人和边缘 AI 应用开发人员的强大工具。运行本地人工智能首次出现在人工智能新闻上。

来源:AI新闻

NVIDIA 推出了名为“Super”的 Jetson Orin Nano 开发套件更新,该套件将生成式 AI 的性能提升高达 70%,且价格降至 249 美元。

Jetson Orin Nano 开发者套件

据 NVIDIA 自己的博客报道,此次升级带来了 AI 处理和内存带宽的显着改进,使其成为机器人和边缘 AI 应用开发人员的强大工具,Jetson Orin Nano Super 特别适合运行流行的生成式 AI。模型和基于变压器的计算机视觉模型。

NVIDIA自己的博客

生成式 AI 模型和 Jetson

Jetson Orin Nano Super 特别适合运行流行的生成式 AI 模型和基于 Transformer 的计算机视觉模型。

它可以处理各种大型语言模型(LLM)、视觉语言模型(VLM)和视觉变换器(ViT),包括具有多达 80 亿个参数的模型,例如 Llama-3.1-8B。

Jetson 平台支持与其他平台相同的机器学习框架和优化的推理基础设施,例如 HuggingFace Transformers、Ollama 和 NVIDIA TensorRT-LLM。

开发人员的机会

开发人员的机会

Jetson Orin Nano 超级开发者套件为开发者在边缘使用生成式 AI 提供了新的机会。这包括:

    开发基于 LLM 的聊天机器人,并创建可解释其环境并对其环境做出反应的视觉 AI 机器人。
  • 开发基于 LLM 的聊天机器人,并提高性能。
  • 创建能够解释周围环境并做出反应的视觉 AI 代理。
  • 针对各种应用实施基于人工智能的机器人技术。
  • 主要功能和优点

    主要功能和优点
  • 性能提升:高达 67 INT8 TOPS AI 性能,较前代提升 70%。
  • 改进的性能
  • 内存带宽增加:从 68 GB/s 提高到 102 GB/s,性能提高 50%。
  • 兼容性