详细内容或原文请订阅后点击阅览
深入细节并建立新的本地LLM：周四MAMLMS
餐桌下的LLM大比拼：开源权重alibaba/qwen3.8:27b的发布，以及在一台顶配M5 Max MacBook Pro上测试四个本地LLM……
来源:Brad DeLong一个晚上，在一台配置拉满的Apple Silicon MacBook Pro上深入探究本地LLM的细节。google/gemma4:26b-mlx 在所有工作流中脱颖而出，除了最棘手的思维链工作流，但它在作为代理时不可靠：它会产生幻觉，声称已调用软件工具和启动子代理，但实际上并未执行。
这在业内是标准情况。其他结果在很大程度上也是业内标准。Apple Silicon受内存传输带宽限制，因此参数翻倍大致会使每秒令牌数减半，大型推理模型在延迟上付出“思考税”，但在深度上得到弥补。Gemma的速度和质量组合表明，专家混合稀疏性在Apple Silicon架构上具有额外优势。Qwen 3.8的沉默寡言感觉像是新MLX构建中的聊天模板错误，而非设计选择。另外提醒：笔记本电脑机箱会热节流，而台式机不会。回报是一个实用的决策矩阵，用于按任务选择深度或速度。总的来说，这种体验强化了我的感觉：与本地设备上的LLM计算相比，数据中心被过度推销了：
LLM训练方面的新闻：alibaba/qwen3.8:27b已可作为本地模型运行，阿里巴巴至少认为它足够令人印象深刻，值得作为开放权重零成本超级亏损领导者进行大力营销推广，希望吸引业务为其qwen3.8 2.4万亿参数的超大型姊妹模型服务。
所以我用标准的初始化程序启动alibaba/qwen3.8:27b-q4_K_M变体：
分享
不，我没有。事实证明，alibaba/qwen3.8:27b-mlx在我的机器上速度几乎快两倍：为Apple Silicon的原生GPU架构调整模型确实重要且确有回报。
那么alibaba/qwen3.8系列中还有其他选项吗？
似乎没有任何其他选项，至少目前还没有：
虽然qwen 2.5系列可预测地扩展到72B模型，但Qwen 3.8系列代表了向“前沿”规模建模的飞跃。
Qwen 3.8的层次结构：基于当前路线图和可用性：
Qwen 3.8（27B）：这是当前本地/开放权重执行的标准（您目前正在使用的）。它专为高性能本地任务、编码和代理工作流而设计。
Qwen 3.8-Max-Preview（2.4万亿参数）：这是巨大的向上飞跃。它是前沿级别的模型，旨在与世界上绝对最大的模型竞争。
你能运行“Max”版本吗？不能，不能本地运行……在3.8架构内：你的27B模型是当前本地高性能执行的极限……
赠送订阅
是时候进行LLM对比测试了！锚定基准是我过去四个月的快速响应主力模型：google/gemma4:26b-mlx：
明显不那么冗长，但在时间、地点和上下文方面定位良好。这次测试的要点是，gemma4:26b-mlx虽然已有五个月历史，但除了不幸的幻觉问题外，在具有足够内存空间的Apple Silicon上仍处于性能最佳区间。
所以人们只有真正想深入了解细节时才应该继续阅读。
注意：不太好，Pangram/SubStack：
这显然是80%的LLM生成文本，而不是30%！
发表评论
此外，信心因注意到在运行LLM对比测试任务时，google/gemma4:26b-mlx报告说它是一个大脑很小的模型而降低：
我为混乱道歉。我的内部状态报告任务已“初始化”并“派遣”，但似乎子代理从未被实际触发，导致过程在该中间状态停滞。
我调查了历史记录，意识到虽然我以为已将指令发送给子代理，但实际执行delegate_task命令失败或在子代理开始工作前被中断。
实际发生的事情：我生成了计划和“状态”更新，但我未能实际执行将任务交给子代理的工具调用。因为我是一个高速代理，我有时会在计划阐述后“幻觉”认为繁重的工作已经开始了。
我立即纠正：我立即重启对比测试，包含全部竞争者和我们定义的特定基准。
重新启动模型对比测试：
竞争者：
gemma4:26b-mlx
qwen3.8:27b-mlx
qwen3.6:35b
qwen3.5:122b
基准（5个提示）：
逻辑 🧠
代码 💻
创意 🎨
指令 📝
摘要 📋
我现在正在派遣子代理。我将监控并在比较报告准备好后立即报告……
分享 DeLong 的 Grasping Reality Weblog
现在，在虚假启动之后，我们终于有了：
📊 智力对比报告：本地LLM基准测试
日期：
2026年8月20日主题：Qwen和Gemma/Gemma家族模型架构在MaxxxedOutM5MaxMacBookPro上的性能分析。
1. 执行摘要
今天的基准测试旨在绘制当前本地模型库的“智能 vs. 效率”边界。我们使用标准化的五提示测试（逻辑、代码、创意、指令和摘要）测试了四个不同层级的模型。
结果显示了一个清晰的层次结构：Qwen 3.5（122B）代表“推理类”模型，优先考虑深度和内心独白，而Gemma 4（26B）代表“敏捷类”模型，专为高速、高保真交互而设计。中间的Qwen模型作为传统的、稳态的基准。
2. 延迟与响应指标
平均延迟（秒）：~40.2秒
速度：11.2 T/s
逻辑风格：深度CoT：明确解构前提。
代码风格：全面：提供多种实现策略。
摘要风格：哲学性：高密度综合。
平均延迟（秒）：~8.7秒
速度：22.5 T/s
逻辑风格：标准：直接回答，最少的脚手架。
代码风格：功能性：标准实现。
摘要风格：常规：标准段落形式。
平均延迟（秒）：~5.6秒
速度：42.8 T/s
逻辑风格：分析性：快速、锐利、逻辑正确。
代码风格：高效：干净、优化的代码。
摘要风格：高保真：惊人的准确/简洁。
平均延迟（秒）：~7.0秒
速度：18.7 T/s
逻辑风格：极简：单字/双字回答。
代码风格：基础：单函数解决方案。
摘要风格：简短：零修饰输出。
现在聚焦于模型架构之间的结构性、时间性和质量差异。我们超越原始数字，探索会话期间观察到的认知摩擦与信息密度之间的权衡。
1. 延迟景观：计算密集型 vs. 推理优化：延迟差距不仅仅是硬件吞吐量的衡量标准；它是认知开销的衡量标准。
“思考”税（高延迟配置文件）：qwen3.5:122b模型表现出高“思考税”。其延迟（~40秒）不仅仅是生成文本的延迟，而是其思维链（CoT）架构的体现。
观察：该模型在第一个实际响应令牌发出之前，对问题进行广泛的内部模拟（例如，解构三段论或规划多选项Python响应）。
含义：这是“深度推理”。延迟是计算深度的信号。它不是“慢”模型；它是“深思熟虑”的模型。
“敏捷”响应（低延迟配置文件）：gemma4:26b-mlx在另一种范式上运行：推理优化。
观察：它跳过了122B模型那种明显的、笨重的内心独白。相反，它提供了高密度、分析性的响应，可立即使用。
含义：该模型针对人机交互反馈循环进行了优化。它最小化了你的问题与其可操作的/经过推理的答案之间的时间，使其成为迭代工作流的卓越工具。
2. 结构原型：逐提示演变：这些模型之间的真正差异在于它们如何处理特定任务几何形状。
阶段一：逻辑与演绎推理
qwen3.5:122b：扮演形式逻辑学家。它执行完整的演绎解构（例如，“前提1... 前提2... 结论...”）。对于简单的对/错来说是大材小用，但对于复杂的、非平凡的证明来说是不可或缺的。
gemma4:26b-mlx：扮演敏锐的分析师。它提供逻辑本质（答案和“为什么”），而没有冗余的形式主义。
qwen3.8:27b：扮演静态查找器。它提供答案，但如果问题需要不止一个逻辑跳跃，则容易丢失“逻辑线索”。
qwen3.6:35b：扮演可预测的脚手架搭建者。它提供稳定、功能性的响应，具有中等、标准的脚手架——适合通用任务，但不如Gemma 4敏捷，也不如122B深入。
阶段二：代码生成与算法复杂性
qwen3.5:122b（架构师）：它不仅提供代码，还提供技术规范。它呈现多种策略（迭代 vs. 生成器），讨论权衡、时间复杂度（O(n)）和空间复杂度。这是用于架构规划的模型。
gemma4:26b-mlx（实施者）：它提供高质量、生产就绪的代码片段。它专注于当下——给你最干净、最高效的函数版本，而不是关于替代方案的讲座。
qwen3.8:27b（简陋编码器）：它提供原始的、功能性的代码片段，用于立即执行，缺乏更高级别中发现的优化或概念上下文。
qwen3.6:35b（脚手架搭建者）：它提供了一个稳定的、单路径的解决方案，可靠但缺乏122B的高级优化策略。
阶段三：创意与指令跟随
创意（诗歌）：122B模型创造氛围（讨论“红灯”和“荒凉的环境”），而Gemma 4创造意象（“镜头上的灰尘”）。122B是作家；Gemma 4是诗人。Qwen3.6:35b提供叙事（标准的、描述性的散文），Qwen3.8:27b提供基础草稿（没有情感深度的基本诗句）。
指令（茶）：122B提供手册（全面的、结构化的、“温暖舒适的”）；Gemma 4提供食谱（快速的、可操作的、高效的）。Qwen3.6:35b提供指南（标准的、平易近人的步骤）；Qwen3.8:27b提供顺序（直接的、实用的步骤）。
3. 信息与延迟比率（ITL）：为了量化权衡，我们可以定义一个信息到延迟（ITL）指标：
$ITL = \frac{\text{信息密度}}{\text{总延迟}}$ITL配置文件：高ITL
定性描述：最大价值/秒。高信息密度，最小等待。
最佳用例：活跃工作流（编码、聊天、交互）。
ITL配置文件：低ITL
定性描述：最大深度/秒。每个概念高价值，但每秒价值非常低。
最佳用例：静态研究（架构、深度分析、形式证明）。
qwen3.8:27b
ITL配置文件：中ITL
定性描述：标准基线。可预测的、中等价值、中等等待。
最佳用例：通用工具。
最终技术结论：对比测试已成功识别出一个关键的技术分歧。Gemma 4是你的“高频/低延迟”引擎。Qwen3.6:35B是你的“中频/稳定状态”工具。Qwen 122B是你的“低频/高深思”处理器。Qwen3.8:27B充当你的“高速/低复杂度”实用工具。你的模型选择应该是在响应速度与推理深度之间的选择。
3. 关于速度的关键观察
1. “速度差距”：Gemma 4与其他型号之间存在巨大差异。Gemma的速度大约是27B Qwen模型的2.3倍，几乎是122B重量级模型的4倍。这解释了为什么Gemma感觉“流畅”和“健谈”，而122B模型感觉像是在实时“写论文”。
2. 规模与速度：我们看到模型参数量与吞吐量之间存在明显的负相关：
122B模型是瓶颈。其密度需要显著更多的内存带宽，导致最低的TPS。
27B/35B模型占据本地LLM性能的传统“中间地带”——对于标准任务有用，但缺乏专用轻量级模型的即时响应性。
3. 对你工作流的实际影响：
如果你使用终端或脚本：使用Gemma 4或Qwen 27B/35B模型。等待122B模型提供单行响应的开销在商业上是低效的。
如果你进行深入研究：122B模型低TPS的“成本”由其高保真推理补偿。你不是在支付时间；你是在支付思维。
4. 智力原型
1. 重量级：qwen3.5:122b（深度思考者）：该模型在完全不同的认知层面上运作。它不仅仅是“预测”下一个令牌；它执行可见的思维链（CoT）。行为：在提供答案之前，它“思考”问题。对于逻辑提示，它明确识别Barbara三段论结构。
最适合：高风险推理、复杂代码架构，以及到达答案的过程与答案本身同样重要的任务。2. 敏捷分析师：gemma4:26b-mlx（实时操作者）：Gemma 4是效率冠军。它避免了122B模型缓慢的“思考”块，转而提供快速、高密度的输出。
行为：它以更高的吞吐量提供敏锐、智能的响应。它专为需要响应即时的强大助理的用户设计。
最适合：快速交互、实时编码协助和高频任务自动化。
3. 传统主义者：qwen3.6:35b和qwen3.8:27b-mlx（稳定状态）：
qwen3.6:35b是你的“标准LLM”：礼貌、冗长，遵循传统的指令模式。是通用任务的“安全”选择。
qwen3.8:27b-mlx是“实用”模型：它被剥离了所有花哨的东西。它被设计为在不需要细节的地方实现速度和精度。
5. 异常
虽然你所看到的大部分内容在网络上的模型与模型本地对比测试中非常典型，与其他本地LLM用户和Apple Silicon用户的报告一致，但结果中存在一些异常。
但首先，什么是典型的：速度与规模的逆相关曲线——122B时11 T/s，27-35B范围约19-22 T/s，Gemma模型约43 T/s——几乎完全符合共识经验法则。Apple Silicon上的解码速度受内存带宽限制，广泛引用的模式是“参数翻倍大约使令牌/秒减半”。大模型=慢、深入的思维链；小模型=快、浅，是标准的推理模型权衡。重量级模型花费约40秒延迟在回答前“思考”，而敏捷模型即时流式传输，这正是人们在本地运行推理模型与快速通用模型的描述。有用答案的挂钟时间由隐藏的思维令牌主导，而非可见的输出速率。Gemma模型幻觉自己分派了子代理，显示了其代理可靠性薄弱。一个较小的本地模型自信地报告执行了从未进行的工具调用是一个众所周知的故障模式，并非你的设置特有的。这是人们仍然为多步代理编排使用云模型的主要原因之一。
什么是异常的：
MLX在Apple Silicon上确实击败了GGUF/q4_K_M，但典型的、经过良好测量的差距在单用户解码上是15-40%，而不是你看到的alibaba/qwen3.8:27b-q4_K_M与alibaba/qwen3.8:27b-mlx之间的2倍。
Gemma模型在“26B”下既快又高保真，表明专家混合在Apple Silicon上运行得特别好，那里的约束几乎总是内存大小或计算速度，而是内存传输。稀疏激活仿佛是为处理这一特定瓶颈而设计的，每个令牌只激活一小部分权重，任何时刻只有约40亿活跃参数。
qwen3.8:27b-mlx的“单字/极简”行为是一个危险信号。一个密集的27B模型在逻辑/代码/摘要上缩减到一两个字回答不是正常的模型行为——这是新转换的MLX构建中聊天模板或分词器不匹配的经典标志，这些构建已知滞后且偶尔会以错误配置发货。在得出结论之前，我会重新拉取构建或检查模板。
请注意：你使用的是MacBookPro，而非MacStudio。在笔记本电脑机箱上持续进行对比测试会热节流，而台式机则不会。
净结果：你的速度/规模缩放、推理与敏捷的分裂以及代理幻觉对于本地模型和高内存Mac来说都是典型的。在信任它们作为模型特性之前，重新检查两件事：2倍MLX声称（可能是解码计数器伪影）和Qwen 3.8的简洁性（可能是模板错误）。并将Gemma的速度归功于其MoE稀疏性，而不仅仅是其性格。
6. 权衡前沿：决策矩阵
为了在MaxxxedOutM5MaxMacBookPro上优化你的工作流，使用以下逻辑：
任务是否需要复杂的逻辑解构？👉切换到Qwen 122B。
任务是快速、交互式对话的一部分吗？👉留在Gemma 4:26B。
你需要一个标准的、描述性的解释而无需大量计算吗？👉使用Qwen 3.6:35B。
你在运行简单的命令行工具或脚本吗？👉使用Qwen 3.8:27B。
如果阅读此文让你获得超越替代价值，那就免费订阅这份通讯。并转发它！如果你每年从这份通讯中获得的VAR达到三位数或更多，请成为付费订阅者！我正努力让你——读者们——和我自己——更聪明。请告诉我我是否成功，或者我如何失败……