Towards Low-Bit Communication for Tensor Parallel LLM Inference
这篇论文被 NeurIPS 2024 的高效自然语言和语音处理 (ENLSP) 研讨会接受。张量并行提供了一种提高服务器大型语言模型 (LLM) 推理效率的有效方法，尽管增加了额外的通信成本。然而，随着服务器 LLM 规模不断扩大，它们将需要分布在更多设备上，从而增加了通信成本。解决这个问题的一种方法是量化，但目前的 LLM 方法往往避免量化张量并行需要传达的特征。利用……
Duo-LLM: A Framework for Studying Adaptive Computation in Large Language Models
这篇论文被 NeurIPS 2024 的高效自然语言和语音处理 (ENLSP) 研讨会接受。大型语言模型 (LLM) 通常使用固定的计算预算逐个生成输出，导致资源利用率低下。为了解决这一缺点，混合专家 (MoE) 模型、推测解码和早期退出策略方面的最新进展利用了计算需求可能根据输入的复杂性和性质而有很大差异的洞察力。然而，确定动态执行的最佳路由模式仍然是一个开放的问题……
IEEE Transactions on Emerging Topics in Computational Intelligence，人工智能数字信任特刊 提交截止日期：2024 年 12 月 1 日IEEE Transactions on Games，大型语言模型和游戏特刊 提交截止日期：2024 年 12 月 1 日IEEE Transactions on Emerging Topics in Computation Intelligence，神经架构搜索和大型机器学习模型特刊 提交截止日期：2024 年 12 月 31 日IEEE Transactions on Fuzzy System
Scaling Smart: Accelerating Large Language Model Pre-training with Small Model Initialization
这篇论文被 NeurIPS 2024 的高效自然语言和语音处理 (ENLSP) 研讨会接受。语言模型的预训练阶段通常从随机初始化的参数开始。根据当前扩展模型的趋势，训练它们的大量参数可能非常缓慢且成本高昂。相比之下，小型语言模型的训练成本较低，但它们通常无法达到大型模型的准确性。在本文中，我们探索了一个将这两种不同机制联系起来的有趣想法：我们能否开发一种使用……初始化大型语言模型的方法
Computational Bottlenecks of Training Small-Scale Large Language Models
这篇论文被 NeurIPS Workshop 2024 的高效自然语言和语音处理 (ENLSP) 研讨会接受。虽然大型语言模型 (LLM) 主导着人工智能领域，但由于消费者对成本和效率的要求，小规模大型语言模型 (SLM) 正受到关注。然而，对 SLM 的训练行为和计算要求的研究有限。在本研究中，我们通过检查各种超参数和配置（包括 GPU 类型、批量大小等）的影响，探索了训练 SLM（最多 2B 个参数）的计算瓶颈…
Upcoming Journal Special Issue Deadlines
IEEE 进化计算学报 - 进化动态优化特刊。论文提交截止日期：2024 年 9 月 1 日IEEE 计算智能新兴主题学报 - 元启发式算法方法进展特刊。论文提交截止日期：2024 年 9 月 30 日IEEE 认知与发展系统学报 - 语音处理中弥合机器与大脑之间差距特刊。论文提交截止日期：2024 年 9 月 30 日IEEE 计算智能新兴主题学报 - 人工智能的数字信任特刊。论文提交截止日期：2024 年 12 月 1 日IEEE 模糊系统学报 - 柔性电子与系统的模糊智能特刊。论文提交截止日期：2024 年 12 月 31 日IEEE 模糊系统学报 - 模糊情感计算系统特刊。论文提交截止
Transfer Learning for Structured Pruning under Limited Task Data
这篇论文被 NeurIPS 的高效自然语言和语音处理 (ENLSP-III) 研讨会接受。大型预训练模型在资源受限的应用程序中使用存在问题。幸运的是，任务感知的结构化修剪方法提供了一种解决方案。这些方法通过以考虑最终任务的方式删除层和注意力头等结构单元来减小模型大小。然而，这些剪枝算法需要比通常可用的更多特定于任务的数据。我们提出了一个将结构化剪枝与迁移学习相结合的框架，以减少…
Алиса прочитает тексты в Яндекс.Браузере вслух
Alisa 学会了在 Yandex 浏览器的页面上对文本进行语音处理。现在你可以让她读一篇文章、一篇博客文章，甚至一首诗——然后继续她的事情。
