详细内容或原文请订阅后点击阅览
Microsoft 的 Phi Silica：最紧凑的型号及其强大的功能
新的 SLM 将把 PC 工作的效率提升到一个新的水平。
来源:安全实验室新闻频道新的 SLM 将把 PC 工作的效率提升到一个新的水平。
微软推出了 Phi Silica，这是第一个用于优化个人计算机上人工智能性能的小语言模型 (SLM)。该产品将有助于解决高计算成本的问题，该问题导致中央处理器和图形处理器经常过载，从而降低了整体系统效率。
微软 氧化硅Phi Silica 仅有 33 亿个参数，是 Microsoft Phi 系列中最紧凑的模型。尽管体积很小，但它表现出了良好的性能——生成第一个令牌时的延迟为每秒 650 个令牌，功耗仅为 1.5 瓦。这可以释放 CPU 和 GPU 资源用于其他任务，从而使其他应用程序能够顺利运行。
Phi Silica 专为新型 Copilot+ 个人电脑的神经处理单元 (NPU) 而设计。该模型的令牌生成使用 NPU 上的 KV 缓存并在 CPU 上运行，每秒生成约 27 个令牌。开发人员将可以通过Windows App SDK访问Phi Silica API，帮助他们在Windows生态系统中创建创新的AI应用程序。
Phi Silica 的功能将包括光学字符识别 (OCR)、工作室效果、实时字幕和用于跟踪用户活动的 API。未来，我们计划添加向量嵌入、用于总结响应的 API（检索增强生成，RAG）和自动文本摘要。
首款支持 Phi Silica 的 Copilot+ 计算机将于 2024 年 6 月中旬上市。它们将搭载基于 Arm 架构的高通 Snapdragon X Elite 和 Plus 处理器。搭载英特尔 Lunar Lake 处理器的 Copilot+ 笔记本电脑预计将于 2024 年第三季度晚些时候推出。