详细内容或原文请订阅后点击阅览
借助 NVIDIA 全新低成本 AI 超级计算机,您可以运行本地 AI
NVIDIA 推出了名为“Super”的 Jetson Orin Nano 开发套件更新,该套件将生成式 AI 的性能提升高达 70%,且价格降至 249 美元。据 NVIDIA 自己的博客报道,此次升级带来了 AI 处理和内存带宽的显着改进,使其成为机器人和边缘 AI 应用开发人员的强大工具。运行本地人工智能首次出现在人工智能新闻上。
来源:AI新闻NVIDIA 推出了名为“Super”的 Jetson Orin Nano 开发套件更新,该套件将生成式 AI 的性能提升高达 70%,且价格降至 249 美元。
Jetson Orin Nano 开发者套件据 NVIDIA 自己的博客报道,此次升级带来了 AI 处理和内存带宽的显着改进,使其成为机器人和边缘 AI 应用开发人员的强大工具,Jetson Orin Nano Super 特别适合运行流行的生成式 AI。模型和基于变压器的计算机视觉模型。
NVIDIA自己的博客生成式 AI 模型和 Jetson
Jetson Orin Nano Super 特别适合运行流行的生成式 AI 模型和基于 Transformer 的计算机视觉模型。
它可以处理各种大型语言模型(LLM)、视觉语言模型(VLM)和视觉变换器(ViT),包括具有多达 80 亿个参数的模型,例如 Llama-3.1-8B。
Jetson 平台支持与其他平台相同的机器学习框架和优化的推理基础设施,例如 HuggingFace Transformers、Ollama 和 NVIDIA TensorRT-LLM。
开发人员的机会
开发人员的机会Jetson Orin Nano 超级开发者套件为开发者在边缘使用生成式 AI 提供了新的机会。这包括:
- 开发基于 LLM 的聊天机器人,并创建可解释其环境并对其环境做出反应的视觉 AI 机器人。