ChipChat: Low-Latency Cascaded Conversational Agent in MLX
大语言模型 (LLM) 的出现改变了口语对话系统，但实时设备语音代理的最佳架构仍然是一个悬而未决的问题。虽然端到端方法在理论上具有优势，但级联系统（CS）在语言理解任务中继续优于它们，尽管受到顺序处理延迟的限制。在这项工作中，我们介绍了 ChipChat，这是一种新颖的低延迟 CS，它通过架构创新和流优化克服了传统瓶颈。我们的系统集成了流式（a）会话语音......
Exploring LLMs with MLX and the Neural Accelerators in the M5 GPU
采用 Apple 芯片的 Mac 越来越受到那些有兴趣使用 Mac 来试验最新模型和技术的人工智能开发人员和研究人员的欢迎。借助 MLX，用户可以在 Mac 上高效地探索和运行 LLM。它允许研究人员在自己的硬件上试验新的推理或微调技术，或在私人环境中研究人工智能技术。 MLX 可与所有 Apple 芯片系统配合使用，并且在最新的 macOS beta 版本1中，它现在可以利用新款 14 英寸 MacBook Pro 中引入的新型 M5 芯片中的神经加速器。神经...
