详细内容或原文请订阅后点击阅览
MemoryLLM：用于 Transformer 的即插即用可解释前馈存储器
了解变压器组件在法学硕士中的工作原理非常重要，因为它是人工智能最新技术进步的核心。在这项工作中，我们重新审视了与前馈模块（FFN）的可解释性相关的挑战，并提出了 MemoryLLM，其旨在将 FFN 与自注意力解耦，并使我们能够将解耦的 FFN 作为上下文无关的 token-wise 神经检索记忆来研究。详细地，我们研究了输入标记如何访问 FFN 参数内的内存位置以及 FFN 内存在不同下游任务中的重要性。 MemoryLLM 实现...
来源:Apple机器学习研究了解变压器组件在法学硕士中的工作原理非常重要，因为它是人工智能最新技术进步的核心。在这项工作中，我们重新审视了与前馈模块（FFN）的可解释性相关的挑战，并提出了 MemoryLLM，其旨在将 FFN 与自注意力解耦，并使我们能够将解耦的 FFN 作为上下文无关的 token-wise 神经检索记忆来研究。详细地，我们研究了输入标记如何访问 FFN 参数内的内存位置以及 FFN 内存在不同下游任务中的重要性。 MemoryLLM 通过直接使用 token 嵌入在与自注意力隔离的情况下进行训练来实现上下文无关的 FFN。这种方法允许将 FFN 预先计算为令牌明智的查找 (ToL)，从而实现 VRAM 和存储之间的按需传输，从而进一步提高推理效率。我们还推出了 Flex-MemoryLLM，将其定位于传统变压器设计和 MemoryLLM 之间。该架构弥补了使用上下文无关的 token-wise 嵌入训练 FFN 所造成的性能差距。