Going Deeply into the Weeds & Standing Up a New Local LLM: THURSDAY MAMLMS
餐桌下的LLM大比拼：开源权重alibaba/qwen3.8:27b的发布，以及在一台顶配M5 Max MacBook Pro上测试四个本地LLM……
Speculative Decoding on CPUs: Nearly 4x Faster Token Generation with DFlash
推测性解码可以将未充分利用的 CPU 计算转化为更快的令牌生成，而无需更改模型的输出。在我们的 vLLM 测试中，DFlash 在并发数为 1 时在 Intel Xeon 6 上使用 Qwen3.5-9B 实现了 3.92 倍的自回归吞吐量。我们详细分析了加速的来源，解释了接受指标，并展示了决定推测是否有效的因素。CPU 上的推测解码：使用 DFlash 使令牌生成速度加快近 4 倍首先出现在《走向数据科学》上。
Run Qwen3.8-27B as a Local AI Coding Agent in Just 3 Commands
下载 Ollama，拉取并提供 Qwen3.8-27B，并仅使用三个命令行通过 OpenCode 启动它。
