详细内容或原文请订阅后点击阅览

中国MiniMax推出开源模型

2025年1月17日 14:34 33 Comments
X Twitter Instagram Mail

这是人工智能世界激动人心的时刻，现在中国公司 MiniMax 又隆重登场了！他们最近推出了一系列有望改变游戏规则的开源模型。 MiniMax-Text-01 和 MiniMax-VL-01 模型脱颖而出，其上下文窗口令人印象深刻，高达 400 万个标记，这一容量 […]《中国 MiniMax 推出开源模型》一文首次出现在 AI 新闻上。

来源:AI新闻
    MiniMax-Text-01 总共有 4560 亿个参数，在推理过程中可以处理多达 400 万个标记，MiniMax-VL-01 使用轻量级 Vision Transformer 并处理 5120 亿个视觉语言标记，该模型在处理长序列时降低了复杂性，达到了传统模型的 20-32 倍的准确度。在 MMLU 上的准确率达到 88.5%，与 GPT-4 竞争。MiniMax-VL-01 在 DocVQA 上的准确率达到 96.4%，优于同类产品。研究人员实施了优化的 CUDA 内核，在 Nvidia H20 GPU 上实现了超过 75% 的处理效率。
  • MiniMax-Text-01 总共有 4560 亿个参数，在推理过程中最多可以处理 400 万个标记。
  • MiniMax-VL-01 使用轻量级 Vision Transformer，可处理 5120 亿个视觉语言标记。
  • “闪电注意力”机制降低了处理长序列时的复杂性。
  • 该模型提供的上下文窗口比传统模型长 20-32 倍。
  • MiniMax-Text-01 在 MMLU 上达到 88.5% 的准确率，与 GPT-4 竞争。
  • MiniMax-VL-01 在 DocVQA 上的准确率达到 96.4%，优于同类产品。
  • 研究人员实施了优化的 CUDA 核心，在 Nvidia H20 GPU 上实现了超过 75% 的处理效率。

    • 这是人工智能世界激动人心的时刻，现在中国公司 MiniMax 隆重登场！他们最近推出了一系列有望改变游戏规则的开源模型。

    型号 MiniMax-Text-01 和 MiniMax-VL-01，具有高达 400 万个令牌的令人印象深刻的上下文窗口 - 容量是 GPT-4 等领先模型的 32 倍。

    MiniMax-Text-01 和 MiniMax-VL-01，

    MiniMax-Text-01 的 4M 上下文窗口

  • 上下文窗口比 GPT-4o 等领先模型大 32 倍
  • 在具有 400 万个令牌上下文的“大海捞针”任务中实现了 100% 准确率

    • 闪电注意力和效率

    GitHub
    400 GPT 32 标记 改变 注意力 闪电 时刻 实现 VL 降低 模型 人工智能 准确率 一系列 处理 准确度 Text 上下文 MiniMax 复杂性 实施 01 研究人员