RNN（附录 2，图 1）是一种神经网络，其中元素之间的连接形成有向序列。这使得处理时间中的一系列事件或连续的空间链成为可能。与多层感知器（大脑如何感知信息的数学或计算机模型）不同，循环网络可以使用其内部存储器来处理任意长度的序列。因此，RNN 适用于将整体分解为部分的任务，例如：手写识别或语音识别。针对循环网络，人们提出了许多不同的架构解决方案，从简单到复杂。近来，应用最为广泛的网络是长短期记忆网络（LSTM - 长短期记忆网络（附录 2，图 2））和受控循环单元（GRU - 门控循环单元（附录 2，图 3）[4]。