详细内容或原文请订阅后点击阅览
OpenAi GPT -Oss基准:与Glm ‑ 4.5,Qwen3,DeepSeek和Kimi K2
基准测试GPT -oss 120b:Openai的最新开放型型号如何与GLM ‑ 4.4,QWEN3,DEEPSEEK R1和KIMI K2进行比较。
来源:Clarifai博客 | 实际应用中的人工智能简介
OpenAI已发布了GPT -Oss -1220b和GPT -Oss -20B,这是一种新系列的开放式推理模型。这些仅在Apache 2.0许可证下发布的文本模型是为了遵循强大的说明,工具使用和强大的推理功能而设计的,使其非常适合将其集成到高级代理工作流程中。该新闻稿反映了Openai持续致力于实现AI社区内的创新和鼓励协作安全的承诺。
gpt -oss −120b gpt -oss -20b Apache 2.0许可证一个关键问题是这些模型与快速移动开放和半自动生态系统中的其他领先选择相比。在此博客中,我们详细介绍了GPT -oss,并将其功能与Glm ‑ 4.5,Qwen3 -Inkinging,DeepSeek -R1和Kimi K2等模型进行了比较。
gpt -oss glm ‑ 4.5 qwen3 -inking deepseek -r1 kimi k2gpt -oss:建筑和核心优势
GPT -oss模型以GPT -2和GPT -3的基础为基础,并结合了混合特征(MOE)设计,以提高训练和推理期间的效率。该方法仅激活每个令牌参数的一部分,在控制计算成本的同时为模型提供了非常大的系统的规模。
gpt -oss 混合特征(MOE)家庭中有两个模型:
- gpt -oss -−120b:总参数为1,168亿亿,在36层中,每个令牌约为51亿个,gpt -oss − 20b:209亿亿个参数,在24层中,有36亿美元的主动奖。
两种模型都共享几种架构选择:
- 残留的流尺寸为2880。组的查询注意力有64个查询头和8个键值头。改进上下文推理的Rotary位置嵌入。使用YARN扩展了131,072令牌的上下文长度。