循环神经网络（Recurrent Neural Network）

AI-第五期-DarkRabbit

这篇文章是对循环神经网络的一个概念性总结，对应：

• 第十一周：（01）循环神经网络
• 第十一周：（04）LSTM
• 维基百科（en）：
  
  • “Recurrent neural network” 词条
  • “Long short-term memory” 词条
  • “Backpropagation through time” 词条

公式在CSDN的app中会显示乱码，请在其它方式阅读

---

目录

---

1 什么是循环神经网络

循环神经网络是一种人工神经网络（Artificial Neural Network），它的神经元间的连接沿序列（sequence）构成有向图，这使得它能表现出动态时间行为，所以有些地方也称为时间递归神经网络。

2 常用结构（Architectures）

2.1 基本结构（Basic）

基本循环神经网络结构（图片来自 Wikipedia）：

从图中可以看出（ t t $t$ 为时间，除时间外所指均为向量或矩阵，下同）：

• 输入层（input）：在 $t$ 时刻的输入 xt x t $x_t$ 。
  • 隐藏层（hidden）：在 t t $t$ 时刻的值 $h_t$ ，它取决于权重为 U U $U$ 的 $x_t$ 与 权重为 V V $V$ 的 $h_{t-1}$ 。
  • 输出层（output）：在 t t $t$ 时刻的输出 $o_t$ ，它取决于权重为 W W $W$ 的 $h_t$ 。

  • 用公式表示即是：
    

    $$\begin{array}{rlr} o_t &= \sigma_o(W h_t) & (1) \\[1ex] h_t &= \sigma_h(Ux_t + Vh_{t-1}) & (2) \end{array}$$

    其中 σ(⋅) σ ( ⋅ ) $\sigma(\cdot)$ 为对应的激活函数。

    从公式(2)表现为递归形式来看，输出

    $$\begin{aligned} o_t &= \sigma_o(W h_t) \\ &= \sigma_o(W \cdot \sigma_h(Ux_t + Vh_{t-1})) \\ &= \sigma_o(W \cdot \sigma_h(Ux_t + V \cdot \sigma_h(Ux_{t-1} + Vh_{t-2}))) \\ &= \sigma_o(W \cdot \sigma_h(Ux_t + V \cdot \sigma_h(Ux_{t-1} + V \cdot \sigma_h(Ux_{t-2} + V \cdot \sigma_h(\cdots))))) & (3) \\ \end{aligned}$$

    2.2 简单结构（Simple Recurrent (Neural) Networks，SR(N)N）

    简单循环网络（SRN）通常是指 Elman networks 与 Jordan networks 。

    Elman 网络的结构（图片来自 Wikipedia）：

    

    Elman 网络是一个三层网络（图中 x,y,z x , y , z $x, y, z$ ），附带一个“上下文单元”（context units，图中 u u $u$ ）。隐层与这些单元相连接，权重为1。

    Jordan 网络和 Elman 网络非常相似。只是这些“上下文单元”不是和隐层相连，而是与输出层相连。这些“上下文单元”被称为状态层（state layer）。

    它们的公式表示都为：
    

    $$\begin{array}{rlc} y_t &= \sigma_y(W_y h_t + b_y) & (4) \\[1ex] h_t &= \sigma_h(W_h x_t + U_h h_{t-1} + b_h) & (5) \end{array}$$

    2.3 长短期记忆网络（Long Short-Term Memory，LSTM）

    LSTM 避免了梯度消失的问题。

    LSTM 结构如下（图片来自 Wikipedia）：

    

    一个 LSTM 包含一个记忆细胞（memory cell，图中 ct c t $c_t$ ），一个遗忘门（forget gate，图中 σ,Ft σ , F t $\sigma, F_t$ ）一个输入门（input gate，图中 σ,It σ , I t $\sigma, I_t$ ）和一个输出门（output gate，图中 σ,Ot σ , O t $\sigma, O_t$ ）。

    从图中就可以看出，在 LSTM 有：

    • 遗忘门：决定了上一时刻 ct−1 c t − 1 $c_{t-1}$ 保留多少内容。
    • 输入门：决定了这一时刻 xt x t $x_t$ 保留多少内容。
    • 输出门：决定了这一时刻 ct c t $c_t$ 有多少内容输出到 ht h t $h_t$。
    • 输入：在 t t $t$ 时刻的输入 $x_t$ ，在 t−1 t − 1 $t-1$ 时刻的输出 ht−1 h t − 1 $h_{t-1}$ 和 ct−1 c t − 1 $c_{t-1}$ 。
    • 输出：在 t t $t$ 时刻的输出 $h_t$ 和 ct c t $c_t$ 。

    用公式表示即是：
    

    $$\begin{array}{rlc} F_t &= sigmoid(W_F x_t + U_F h_{t-1} + b_F) & (6) \\[1ex] I_t &= sigmoid(W_I x_t + U_I h_{t-1} + b_I) & (7) \\[1ex] O_t &= sigmoid(W_O x_t + U_O h_{t-1} + b_O) & (8) \\[1ex] c_t &= F_t \circ c_{t-1} + I_t \circ \tanh(W_c x_t + U_c h_{t-1} + b_c) & (9) \\[1ex] h_t &= O_t \circ \tanh(c_t) & (10) \end{array}$$

    其中 ∘ ∘ $\circ$ 是哈达马乘积（Hadamard product）矩阵运算，也记作 ∗ ∗ $\ast$ ，部分文章也写作 ⊙ ⊙ $\odot$ 。

    3 基于时间的反向传播算法（Backpropagation Trough Time，BPTT）

    BPTT 是一种基于梯度的技术，可以用来计算 Elman 网络。

    具体的计算可以参考这篇文章

    Recurrent Neural Networks Tutorial, Part 3 – Backpropagation Through Time and Vanishing Gradients