详细内容或原文请订阅后点击阅览
随着开放模型激发 AI 热潮，NVIDIA Jetson 在边缘将其变为现实
Cat 306 CR 小型挖掘机重量略低于八吨，可装入标准集装箱内。这是承包商在工地紧张时租用的机器：地基附近的公用设施沟渠、密集社区中的地下室。驾驶室大约有电话亭那么大。操作员坐在 [...]
来源:NVIDIA 博客 _机器人技术Cat 306 CR 小型挖掘机重量略低于八吨，可装入标准集装箱内。这是承包商在工地紧张时租用的机器：地基附近的公用设施沟渠、密集社区中的地下室。
出租车大约有电话亭那么大。操作员坐在靠近控制器的位置，有两个操纵杆，每只手都有多种功能。需要时间来学习。需要更长的时间才能加速。
在今年早些时候的 CES 上，该机器回答了问题。在演示中，Cat AI Assistant 在 NVIDIA Jetson Thor 上运行，这是一个专为工业和机器人系统中的实时推理而构建的边缘 AI 平台，NVIDIA Nemotron 语音模型用于快速、准确的自然语音交互。 Qwen3 4B 通过 vLLM 在本地提供服务，解释请求并生成低延迟响应，无需云链接。
除了企业创新之外，开放模型还为开发人员自由构建和实验提供了新的可能性。在 NVIDIA Jetson 上运行 OpenClaw 使开发人员能够在边缘创建私有的、始终在线的 AI 助手 - 应用程序编程接口成本为零，并且具有完全的数据隐私。
所有 Jetson 开发套件均支持 OpenClaw，可灵活地在开放模型之间切换（从 20 亿个参数到 300 亿个参数）。借助本地运行的前沿级人工智能助手，用户可以实时提供早间简报、自动化日常任务、执行代码审查和控制智能家居系统。
从云端到边缘
在最近的大部分历史中，开放模型都存在于最容易支持它们的地方。
它们在数据中心运行，由弹性计算和持久网络支持。云部署会带来延迟成本和持续计算支出，这些成本会随着每次查询而扩展。
物理系统针对其他方面进行优化。低延迟，因为机器与人和环境交互。由于设备有硬性限制，因此功率有限。以及一致的行为，因为可变性会带来风险。