Memory Efficient Audio Synthesis with Decoupled Temporal Depth Diffusion Transformers
Siri Expressive Voices 完全在设备上实时合成丰富、可配置的语音，由 Apple 最强大的设备基础模型 AFM 3 Core Advanced 提供支持。这项工作展示了该功能背后的内存高效音频合成架构：一个去标记器，可在 Apple 矩阵协处理器 (AMX) 紧张的计算和内存预算内将基础模型发出的语义音频标记转换为高保真音频。我们使用三组件设计（流式传输）将语义音频标记转换为残差矢量量化（RVQ）表示形式……
A Three-Phase Factual Recall Circuit in Gemma-2B and Gemma-12B-IT
激活修补揭示了如何跨变压器层存储、路由和读取事实，以及为什么残差流完成大部分工作Gemma-2B 和 Gemma-12B-IT 中的三相事实回忆电路一文首先出现在《走向数据科学》上。
