Theory, Analysis, and Best Practices for Sigmoid Self-Attention
*主要贡献者注意力机制是 Transformer 架构的关键部分。它是一种序列到序列的映射，可将每个序列元素转换为值的加权和。权重通常作为键和查询之间的点积的 softmax 获得。最近的研究探索了 Transformer 中 softmax 注意力机制的替代方案，例如 ReLU 和 S 型激活。在这项研究中，我们重新审视 S 型注意力机制并进行了深入的理论和实证分析。从理论上讲，我们证明具有 S 形注意力机制的变换器是通用函数逼近器，并且……
