Computational Bottlenecks of Training Small-Scale Large Language Models
这篇论文被 NeurIPS Workshop 2024 的高效自然语言和语音处理 (ENLSP) 研讨会接受。虽然大型语言模型 (LLM) 主导着人工智能领域，但由于消费者对成本和效率的要求，小规模大型语言模型 (SLM) 正受到关注。然而，对 SLM 的训练行为和计算要求的研究有限。在本研究中，我们通过检查各种超参数和配置（包括 GPU 类型、批量大小等）的影响，探索了训练 SLM（最多 2B 个参数）的计算瓶颈…
CAMPHOR: Collaborative Agents for Multi-Input Planning and High-Order Reasoning On Device
虽然服务器端大型语言模型 (LLM) 在工具集成和复杂推理方面表现出色，但直接在设备上部署小型语言模型 (SLM) 带来了改善延迟和隐私的机会，但也带来了准确性和内存方面的独特挑战。我们推出了 CAMPHOR，这是一种创新的设备 SLM 多代理框架，旨在处理多个用户输入并在本地推理个人背景，确保隐私得到维护。 CAMPHOR 采用分层架构，其中高阶推理代理分解复杂任务并协调专家……
Aero-News: Quote of the Day (07.05.24)
“这些 Block III SLM 喷气式飞机的首次交付是我们持续努力确保超级大黄蜂飞机的能力、可靠性、可用性和可维护性的一个重要里程碑。我们期待与波音公司继续合作，为舰队提供这一关键的作战能力。”来源：F/A-18 和 EA-18G 项目办公室项目经理迈克尔·伯克斯上尉在波音项目成功提前一个月交付首对改进型 Block III 超级大黄蜂时发表评论。
Boeing Completes F/A-18 Super Hornet Upgrade Ahead of Schedule
– 波音公司从两个地点（圣路易斯和圣安东尼奥）交付首批两架服役寿命修改 (SLM) Block III 战斗机 – 公私合作协议……
Phi Silica от Microsoft: самая компактная модель и ее огромные возможности
新的 SLM 将把 PC 工作的效率提升到一个新的水平。
