Apple Intelligence Foundation Language Models Tech Report 2025
我们介绍了两种多语言的多式联运基础语言模型，使苹果智能在苹果设备和服务上具有功能：（i）通过建筑创新（例如KV-CACHE共享和2位量化量化的培训）为Apple Silicon优化了〜3B参数的启用式启动模型； （ii）建立在新型的并行轨道混合物（PT-MOE）变压器上的可扩展服务器模型，该模型结合了轨道并行性，稀疏计算的混合物和交织的全球 - 单位关注，以使高质量与竞争性成本相互交流，以使苹果的私人云计算……
