Path-Constrained Mixture-of-Experts
稀疏专家混合 (MoE) 架构通过每层的专家子集独立路由每个令牌。我们建议通过专家路径的视角来看待 MoE 计算——令牌在所有层上进行的专家选择序列。这种观点表明,尽管 N 个专家跨 L 层有 N^L 条可能的路径,但实践中的标记会聚集成一小部分与语言功能一致的路径,但绝大多数路径仍未被探索,这代表了统计上的低效率。这激发了限制有效路径空间的架构……
来自厄瓜多尔的新 Theraphosinae:描述了五个物种(Mygalomorphae、Theraphosidae、Romopelma 和 Homoeomma)并建立了一个新属摘要对厄瓜多尔 Theraphosinae 亚科的标本进行了审查,结果鉴定出了三个属的五个新物种;来自 Romopelma Peñaherrera-R et al., 2024, Romopelma chirapa sp.十一月(♂♀);来自 Homoeomma 属,Homoeomma josti sp。十一月(♂♀)。首次描述了该属模式种 Romopelma barrigae Peñaherrera-R et al.
Introducing Gemma 4 models on Amazon Bedrock
今天,我们宣布 Gemma 4 系列在 Amazon Bedrock 上上市。 Gemma 4 由 Google DeepMind 构建并在 Apache 2.0 许可下发布,是一系列开放权重模型,其设计重点是跨广泛部署场景的每参数智能。该系列包括三个指令调整变体:Gemma 4 31B、Gemma 4 26B-A4B 和 Gemma 4 E2B。这些涵盖密集和专家混合 (MoE) 架构,其中每个请求仅激活模型参数的一小部分。这些变体提供内置推理、本机函数调用以及跨文本和图像的多模式输入。