SpecMD: A Comprehensive Study on Speculative Expert Prefetching
专家混合 (MoE) 模型支持稀疏专家激活，这意味着每次推理期间仅使用模型参数的子集。然而，要将这种稀疏性转化为实际性能，需要专业的缓存机制。以前的工作提出了以硬件为中心的缓存策略，但是这些不同的缓存策略如何相互作用以及不同的硬件规范仍然知之甚少。为了解决这一差距，我们开发了 SpecMD，这是一个标准化框架，用于对各种硬件配置上的临时缓存策略进行基准测试。使用 SpecMD...
