3.2　反向传播

第1章中介绍了梯度下降算法训练回归模型，神经网络模型也一样需要使用梯度下降算法来更新参数。然而一个神经网络通常会有上百万的参数，那么如何高效地计算这百万级别的参数是需要重点考虑的问题。神经网络中使用反向传播（Backward Propagation）算法，使得计算梯度更加有效率。

在介绍反向传播之前，先来介绍一下链式法则。假设有两个函数y=g（x）和z=h（y），那么z对x的求导过程如下：

假设有三个函数x=g（s）、y=h（s）和z=k（x，y），z对s的求导过程如下：

神经网络的梯度计算，就是依赖链式法则一层层反向传播的。

如图3.4所示的前向神经网络，输入层有n个属性x₁，x₂，…，x_n，中间隐藏层有p个神经元，第j个神经元为h_j，j∈（0，p-1）。

输出层为q维。对隐藏层的每一个神经元h_j，先经过一个线性变换，公式如下：

式中，w_j0——偏置值；

w_j1，w_j2，…，w_jn——作用在属性x₁，x₂，…，x_n上的权重。

输入给神经元后，经过激活函数的作用得到。第二层同理有神经元输入：

输出。以上为前向神经网络的前向传播（Forward Propagation）过程。

对单个数据样本（x，y），假设损失函数为均方差，则对第k个输出项的损失为：

通过链式法则，损失函数对权重v_kj的梯度为：

式中，第一项；

第三项。

而对于第二项，假设激活函数为sigmoid函数，则梯度有一个很好的性质，即：

三项相乘可以得到：

由于真实标签y_k由数据给定，而输出值与h_j均由前向传播算法计算得到，则可以轻易地计算得到每个中间层权重v_kj，并且该计算过程可以并行进行。

类似地，可以得到损失值在隐藏单元h_j上的累积梯度为

同理，可以通过链式法则，得到损失函数对第一层权重w_ji的梯度为（假设隐藏层激活函数为ReLU函数）：

式中，。

在上一步计算得到后，也可以高效并行地计算出。

在上述过程中，假设了损失函数是均方差，激活函数为sigmoid和ReLU，其实这样的计算法则对任意可微的损失函数和激活函数都是有效的。从计算过程来看，在前向传播得到隐藏层与输出层数值后，先从损失函数算起，接着从顶层逐渐计算梯度，将梯度逐层往输入层传播。这与前向传播的顺序是相反的，也是该算法为什么被称为反向传播的原因。反向传播（见图3.5）得到所有参数的梯度之后，可以利用梯度下降算法对参数进行更新迭代，从而达到训练神经网络的目的。神经网络训练过程如算法3.1所示。

算法3.1　神经网络训练过程

输入:数据集,步长为α,小批量训练样本的大小为b,迭代次数为T

输出:训练完成的神经网络

(1) 初始化网络参数w₀

(2) for t∈{1,2,…,T}

(3) 从m个样本中均匀随机无放回选取b个样本m_b

(4) 前向传播逐层计算隐藏层的参数值,得到样本输出

(5) 根据损失函数计算误差,得到输出层梯度

(6) 反向逐层计算隐藏层梯度

(7) 计算连接参数梯度并更新参数