ParaRNN: Unlocking Parallel Training of Nonlinear RNNs for Large Language Models
循环神经网络 (RNN) 为序列建模奠定了基础，但其内在的序列性质限制了并行计算，为扩展造成了根本障碍。这导致了 Transformer 等可并行架构以及最近的状态空间模型 (SSM) 的主导地位。虽然 SSM 通过结构化线性递归实现高效并行化，但这种线性约束限制了它们的表达能力，并妨碍对复杂的非线性序列依赖关系进行建模。为了解决这个问题，我们提出了 ParaRNN，一个打破......
