Llama 4 Meta的模型家族现在可以在Sagemaker Jumpstart

今天,我们很高兴地宣布亚马逊萨吉式制造商Jumpstart的Llama 4 Scout和MaverickModels的可用性。在这篇博客文章中,我们将带您了解如何使用SageMaker Jumpstart进行部署和提示Allama-4-Scout-17b-16e-Inscruct模型。

来源:亚马逊云科技 _机器学习
今天,我们很高兴地宣布,在亚马逊萨司机跳跃中宣布Llama 4 Scout和Maverick车型的可用性,并很快在亚马逊Bedrock即将推出。 Llama 4代表迄今为止Meta最先进的多式联运模型,其中包括专家(MOE)架构和上下文窗口窗口支持多达1000万个令牌。凭借本地的多模式和早期融合技术,元指出,这些新模型在文本和视觉任务中表现出前所未有的性能,同时保持有效的计算要求。 随着受支持的上下文长度从Llama 3中的128K急剧增加,Llama 4现在适用于多文件摘要,为个性化任务解析广泛的用户活动以及对广泛代码库的推理。 现在,您可以部署Llama-4-Scout-17b-16e教学,Llama-4-Maverick-17b-128e-Inscruct,以及使用SageMaker在美国东部(N. N. N. aws aws aws aws aws aws aws aws aws aws aws and Instrast and dismistion and Instrast and Instrast and Instrast and Instrast and Instrast and Instress and distress) Llama-4-Scout-17b-16e-16e-Instruct模型使用SageMaker Jumpstart.Llama 4 operviewMeta今天宣布了Llama 4,引入了三种不同的模型变体:Scouts:Scout,它提供了高级的多模式功能和1000万令牌窗口; Maverick,一种具有128K上下文窗口的具有成本效益的解决方案;和庞然大物,在预览中。这些模型已针对多模式推理,多语言任务,编码,工具呼叫和供电代理系统进行了优化。LALA4 MAVERICK是一种强大的通用模型,具有170亿个活动参数,128位专家和4000亿个专家,总参数为4000亿个,并针对高品质的通用助理和聊天案例进行了优化。此外,Llama 4 Maverick在量化版本(FP8)中都可以使用基础和指令模型,可在教学模型上有效部署和非量化(BF16)版本,以最大程度的精度。LALLAMA4 SCOUT,更紧凑且较小的模型,具有170亿个活跃参数,16个专家,109