MemoryLLM: Plug-n-Play Interpretable Feed-Forward Memory for Transformers
了解变压器组件在法学硕士中的工作原理非常重要，因为它是人工智能最新技术进步的核心。在这项工作中，我们重新审视了与前馈模块（FFN）的可解释性相关的挑战，并提出了 MemoryLLM，其旨在将 FFN 与自注意力解耦，并使我们能够将解耦的 FFN 作为上下文无关的 token-wise 神经检索记忆来研究。详细地，我们研究了输入标记如何访问 FFN 参数内的内存位置以及 FFN 内存在不同下游任务中的重要性。 MemoryLLM 实现...
