威伦特

递归神经网络（Recurrent Neural Network, RNN）是一种专门处理序列的神经网络。它们通常用于自然语言处理(NLP） 任务，因为RNN在处理文本方面非常有效。

第一句话：我喜欢吃苹果！

第二句话：苹果真是一家很棒的公司！

如果任务是要给苹果打标签，RNN就结合上下文去训练模型，能够准确识别出第一个苹果是一种水果，第二个是苹果公司，

RNN能够将可变长度序列作为输入和输出

• 固定大小的输入到固定大小的输出（例如图像分类）。
• 序列输出（例如，从图像字幕生成）。
• 序列输入（例如，句子情感分析）。
• 序列输入和序列输出（例如机器翻译）。
• 同步序列输入和输出（例如，视频分类）

实现过程

正向传播：

如果使用一个“多对一”的RNN，来进行情感分析，即输入词向量$\ x_0,x_1,...,x_n，获得y$属于正向\负向情感的概率

如下图：

RNN的计算遵循如下规则：

• 下一个隐藏状态是使用上一个隐藏状态和下一个输入决定的

  $\ h_t=tanh(W_{xh}x_t+W_{hh}h_{t-1}+b_h)$，式子中使用了tanh作为激活函数

• 输出向量y由h所决定

  $\ y_t=W_{ht}h_t+b_y$

其中，$\ W_{xh}$为用来链接**$\ x→h$的权重，$\ W_{hh}$用来链接$\ h_n→h_{n+1}$的权重，$\ W_{hy}$用来链接$\ h_t→y_t$** 的权重，

$\ b_{h}用来链接$$\ x→h$的偏差,$\ b_{y}$用来链接 $\ h→y$ 的偏差

反向传播

训练RNN权重参数，首先需要一个损失函数。通常使用Softmax与交叉熵损失函数，作为损失函数。

将L对y进行求导：

例如，如 softmax(y) = [0.2,0.2,0.6],正确的类别为 0 ,那么对L求导得到：[-0.8， 0.2， 0.6]

再将L分别对RNN中所有参数进行求导：

因为变化$\ W_{xh}$会影响每一个$\ h_n$，这都会影响最终的损失函数，因此我们需要将每个时间的梯度都计算出来然后加起来，作为每次$\ W_{xh}$更新的梯度值，这称为时序反向传播算法（BPTT）

\frac{∂h_t}{∂W_{hh}}=(1-h_t^2)h_{t-1} \tag 6

\frac{∂h_t}{∂b_{h}}=(1-h_t^2) \tag7

\frac{∂y}{∂h_{t}}=\begin{cases}
\frac{∂y}{∂h_{t+1}}*(1-h_t^2)W_{hh} \quad t\neq n\
W_{hy}\quad t=n
\end{cases}
\tag 8