垂直网站建设百度官方版

1️⃣ GRU介绍

前面介绍的LSTM可以有效缓解RNN的梯度消失问题，但是其内部结构比较复杂，因此衍生出了更加简化的GRU。GRU把输入门和遗忘门整合成一个更新门，并且合并了细胞状态和隐藏状态。于2014年被提出

---

2️⃣ 原理介绍

GRU的结构和最简单的RNN是一样的。当前输入为$x_t$，上一个节点传递下来的隐层状态为$h_{t-1}$，这个隐层状态包含了之前节点的相关信息。根据$x_t$和$h_{t-1}$，GRU会得到当前时间步的输出$y_t$和传递给下一个节点的隐层状态$h_t$，实际上$y_t$就是等于$h_t$

下面介绍详细的原理，下图展示了GRU的详细结构：

第一步，计算重置门，它的参数是$W_r$，用于控制之前的记忆需要保留多少。该门的输入是前一个隐层状态$h_{t-1}$以及当前时间步的输入$x_t$，输出为$r_t$，在0到1之间，：
$$r_t=\sigma \left(W_r\cdot [h_{t-1},x_t]\right)$$其中，$\sigma$表示sigmoid激活函数

第二步，我们来看更新门，它的参数为$W_z$，它将LSTM中的输入门和遗忘门结合，决定当前时间步应该保留多少以前的记忆，多少新信息应该加入。该门的输入也是前一个隐层状态$h_{t-1}$以及当前时间步的输入$x_t$，省略了偏置参数$b$，输出为$z_t，在0到1之间，$公式具体表达为：
$$z_t=\sigma \left(W_z\cdot [h_{t-1},x_t]\right)$$其中，$\sigma$表示sigmoid激活函数

第三步，计算输入值，输入值由前一个隐层状态$h_{t-1}$，当前的$x_t$以及重置门$r_t$得到。$r_t\ast h_{t-1}$可以理解为之前的记忆保留多少来学习新的内容$x_t$，${\tilde{h}}_t$相当于利用之前的记忆对新的内容理解的部分
$${\tilde{h}}_t=\tanh \left(W\cdot [r_t\ast h_{t-1},x_t]\right)$$

第四步，计算当前输出$h_t$，由两部分，一部分是之前信息的影响$h_{t-1}$，后一部分是当前输入的影响${\tilde{h}}_t$。$z_t$是更新门的输出，取值在0-1之间。给$h_{t-1}$赋予$(1-z_t)$权重，给${\tilde{h}}_t$赋予$z_t$权重：

$$\begin{array}{r}{h}_t=(1-z_t)\ast h_{t-1}+z_t\ast {\tilde{h}}_t\end{array}$$

我前面写的这篇文章中介绍了为什么RNN会有梯度消失和爆炸：点这里查看

主要原因是反向传播时，梯度中有这一部分：
$$\prod _{j=k+1}^3\frac{\partial s_j}{\partial s_{j-1}}=\prod _{j=k+1}^{3}tan{h}^{{}^{\prime }}W$$

那么GRU如何缓解RNN的梯度消失问题呢？

在GRU里，隐层的输出换了个符号，从$s$变成$h$了。因此我们来分析一下$\frac{\partial h_t}{\partial h_{t-1}}$。 我们可以得到：
$$\frac{\partial h_t}{\partial h_{t-1}}=(1-z_t)+\dots$$

因此我们可以通过控制更新门的输出$z_t$来控制梯度，以缓解梯度消失问题

---

3️⃣ 总结

• GRU和LSTM对比：
  

• GRU通过控制更新门的输出$z_t$来控制梯度，以缓解梯度消失问题

---

4️⃣ 参考

• Pytorch_LSTM与GRU
• 白话机器学习-从RNN、LSTM到GRU

---