什么是循环神经网络 (RNN)?

为什么重要:循环神经网络 (RNN) 是一种人工神经网络,旨在通过维持内部状态来处理序列数据。

来源:人工智能+

简介

简介

循环神经网络 (RNN) 的设计本质上适合分析数据序列,例如基因组、时间序列、文本甚至手写。在工业界,它们用于处理来自股票市场或传感器的顺序数据,而在数字世界中,它们为语言建模、语言翻译、文本生成、语音识别、视频标记和图像描述生成等应用提供支持。

RNN 的一个定义特征是其内部存储器,由循环单元支持,这些单元捕获来自先前时间步骤的信息,有效地将过去的输入纳入当前和未来的计算。与前馈网络不同,循环网络利用来自先前输入的信息,使其特别适合处理顺序数据。

无论是单输入、单输出还是多输出,RNN 都能有效地处理不同的配置和任务性质,无论是预测未来输入还是对输入序列进行分类。

众所周知,在使用长序列进行训练时,RNN 会出现梯度消失和梯度爆炸等问题。这些问题在一定程度上可以通过 RNN 变体得到缓解,例如长短期记忆 (LSTM) 和门控循环单元 (GRU) 网络,它们引入了门控机制来更好地管理信息流。

什么是循环神经网络?

什么是循环神经网络?

循环神经网络是一类人工神经网络,旨在识别数据序列中的模式,例如文本、基因组、手写或口语。它们之所以被称为“循环”,是因为它们对序列中的每个元素执行相同的任务,输出取决于之前的计算。这与独立处理输入的传统神经网络不同。

来源:YouTube
来源:YouTube
YouTube

循环神经网络如何学习

循环神经网络如何学习 整流线性单元 (ReLU) 损失函数 批量标准化