西瓜书神经网络公式详细推导

声明：本文是对西瓜书中第五章神经网络中公式推导过程补充，文章作为自己的学习笔记，欢迎大家于本人学习交流。未经本人许可，文章不得用于商业用途。转载请注明出处

本文章参考

作者： 周志华 书名：《机器学习》 出版社：清华大学出版社
南瓜书项目 链接地址：https://datawhalechina.github.io/pumpkin-book/#/

感谢此书籍和项目的原创者
如有侵犯您的知识产权和版权问题，请通知本人，本人会即时做出处理并删除文章

Email：[email protected]

感知机

感知机的定义

假设输入空间是 $\mathcal{X}\subseteq R^n$，输出空间是 $\mathcal{Y}=\{1,0\}$ 。输入 $\mathbf{x}\in \mathcal{X}$ 表示实例的特征向量，对应于输入空间的点；输出 $y\in \mathcal{Y}$ 表示实例的类别。由于输入空间到输出空间的如下函数
$$f(x)=\mathrm{sgn}\left(w^{T}x+b\right)$$
称为感知机。其中 $w$ 和 $b$ 为感知机模型参数， $sgn$ 是阶跃函数，即
$$\mathrm{sgn}(z)=\{\begin{array}{ll}1,& z⩾0\\ 0,& z<0\end{array}$$

感知机的几何解释

线性方程 $w^{T}x+b=0$ 对应于特征空间（输入空间） $R^n$ 中的一个超平面 $S$, 其中 $w$ 是超平面的法向量，$b$ 是超平面的截距。这个超平面将特征空间划分为两个部分。位于两边的点(特征向量)分别被分为正、负两类。因此，超平面 $S$ 称为分离超平面，如图所示

学习策略

假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的超平面。为了找出这样的超平面 $S$ ，即确定感知机模型参数 $w$ 和 $b$ ,需要确定一个学习策略，即定义损失函数并将损失函数极小化。损失函数的一个自然选择是误分类点的总数。但是，这样的损失函数不是参数 $w$ 和 $b$ 的连续可导函数，不易优化，所以感知机采用的损失函数为误分类点到超平面的总距离。

输入空间 $R^n$ 中点 ${\mathbf{x}}_0$ 到超平面 $S$ 的距离公式为
$$\frac{\left|w^T{x}_0+b\right|}{\Vert w\Vert }$$
其中， $\Vert \mathbf{w}\Vert$ 表示向量 $w$ 的模长。若将 $b$ 看成哑结点，也即合并进 $w$ 可得
$$\frac{\left|{\hat{w}}^T{\hat{x}}_0\right|}{\Vert \hat{w}\Vert }$$
设误分类点集合为 $M$,那么所有误分类点到超平面 $S$ 的总距离为
$$\sum _{{\hat{x}}_i\in M}\frac{\left|w^T{\hat{x}}_i\right|}{\Vert w\Vert }$$
又因为，对于任意误分类点 ${\hat{\mathbf{x}}}_i\in M$ 来说都有
$$\left({\hat{y}}_i-y_i\right){\hat{w}}^T{\hat{x}}_i>0$$
其中， ${\hat{y}}_i$ 为当前感知机的输入。于是所有误分类点到超平面 $S$ 的总距离可改写为
$$\sum _{{\hat{x}}_i\in M}\frac{\left({\hat{y}}_i-y_i\right){\hat{w}}^T{\hat{x}}_i}{\Vert \hat{w}\Vert }$$
不考虑 $\frac{1}{\Vert \hat{w}\Vert }$ 就得到感知机学习的损失函数
$$L(\hat{w})=\sum _{{\hat{x}}_i\in M}\left({\hat{y}}_i-y_i\right){\hat{w}}^T{\hat{x}}_i$$
显然，损失函数 $L(\hat{w})$ 是非负的。如果没有误分类点，损失函数值是0。而且，误分类点越少，误分类点离超平面越近，损失函数值越小，在误分类时是参数 $w$ 的线性函数，在正确分类时是0。因此，给定训练数据集，损失函数 $L(\hat{w})$ 是 $\hat{w}$ 的连续可导函数。
算法：
感知机学习算法是对一下最优化问题的算法，给定训练数据集
$$T=\left\{\left({\hat{x}}_1,y_1\right),\left({\hat{x}}_2,y_2\right),\cdots ,\left({\hat{x}}_N,y_N\right)\right\}$$
其中 ${\hat{x}}_i\in R^{n+1}$， 求参数 $\hat{w}$ 使其为以下损失函数极小化问题的解
$$L(\hat{w})=\sum _{{\hat{x}}_i\in M}\left({\hat{y}}_i-y_i\right){\hat{w}}^T{\hat{x}}_i$$
其中 $M$ 为误分类点的集合。
感知机学习算法是误分类驱动的，具体采用随机梯度下降法。首先，任意选取一个超平面 ${\hat{w}}_0^T\hat{x}=0$ 用梯度下降法不断地极小化损失函数 $L(\hat{w})$ ，极小化过程中不是一次是 $M$ 中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。已知损失函数的梯度为
$$\begin{array}{rl}\nabla L(\hat{w})=\frac{\partial L(\hat{w})}{\partial \hat{w}}& =\frac{\partial }{\partial \hat{w}}\left[\sum _{{\hat{x}}_i\in M}\left({\hat{y}}_i-y_i\right){\hat{w}}^T{\hat{x}}_i\right]\\ & =\sum _{{\hat{x}}_i\in M}\left[\left({\hat{y}}_i-y_i\right)\frac{\partial }{\partial \hat{w}}\left({\hat{w}}^T{\hat{x}}_i\right)\right]\\ & =\sum _{{\hat{x}}_i\in M}\left({\hat{y}}_i-y_i\right){\hat{x}}_i\end{array}$$
那么随机选取一个误分类点 ${\hat{x}}_i$ 进行梯度下降可得参数 $\hat{w}$ 的更新公式为
$$\hat{w}\leftarrow \hat{w}+\Delta \hat{w}$$ $$\Delta \hat{w}=-\eta \nabla L(\hat{w})$$ $$w\leftarrow w-\eta \nabla L(\hat{w})$$ $$\hat{w}\leftarrow \hat{w}-\eta \left({\hat{y}}_i-y_i\right){\hat{x}}_i=\hat{w}+\eta \left(y_i-{\hat{y}}_i\right){\hat{x}}_i$$ $$\Delta \hat{w}=\eta \left(y_i-{\hat{y}}_i\right){\hat{x}}_i$$此式即为书中式（5.2）
其中 $\eta \in (0,1)$ 称为称为学习率。

神经网络

模型结构

单隐藏前馈网络模型结构如下图所示

标准BP算法

给定一个训练样本 $\left(x_k,y_k\right)$，假设模型输出为 ${\hat{y}}_k=\left({\hat{y}}_1^k,{\hat{y}}_2^k,\dots ,{\hat{y}}_l^k\right)$，则均方误差为
$$E_k=\frac{1}{2}\sum _{j=1}^l{\left({\hat{y}}_j^k-y_j^k\right)}^2$$

此式即为书中式（5.4）
如果按照梯度下降法更新模型的参数，那么各个参数的更新公式为

$$w_{hj}\leftarrow w_{hj}+\Delta w_{hj}=w_{hj}-\eta \frac{\partial E_k}{\partial w_{hj}}$$ $${\theta }_j\leftarrow {\theta }_j+\Delta {\theta }_j={\theta }_j-\eta \frac{\partial E_k}{\partial {\theta }_j}$$ $$v_{ih}\leftarrow v_{ih}+\Delta v_{ih}=v_{ih}-\eta \frac{\partial E_k}{\partial v_{ih}}$$ $${\gamma }_h\leftarrow {\gamma }_h+\Delta {\gamma }_h={\gamma }_h-\eta \frac{\partial E_k}{\partial {\gamma }_h}$$

1. 根据 $E_k$ 和 $w_{hj}$ 的函数链式关系

$$\begin{array}{c}{E}_k=\frac{1}{2}{\sum }_{j=1}^l{\left({\hat{y}}_j^k-y_j^k\right)}^2\\ {\hat{y}}_j^k=f\left({\beta }_j-{\theta }_j\right)\\ {\beta }_j={\sum }_{h=1}^q{w}_{hj}{b}_h\end{array}$$

其中 $f$ 为 Sigmoid 函数，所以有

$$\frac{\partial E_k}{\partial w_{hj}}=\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\cdot \frac{\partial {\beta }_j}{\partial w_{hj}}$$

$$\begin{array}{rl}\frac{\partial E_k}{\partial {\hat{y}}_j^k}& =\frac{\partial \left[\frac{1}{2}{\sum }_{j=1}^l{\left({\hat{y}}_j^k-y_j^k\right)}^2\right]}{\partial {\hat{y}}_j^k}\\ & =\frac{1}{2}\times 2\times \left({\hat{y}}_j^k-y_j^k\right)\times 1\\ & ={\hat{y}}_j^k-y_j^k\end{array}$$

$$\begin{array}{rl}\frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}& =\frac{\partial \left[f\left({\beta }_j-{\theta }_j\right)\right]}{\partial {\beta }_j}\\ & =f^{\prime }\left({\beta }_j-{\theta }_j\right)\times 1\end{array}$$

由于 $f^{\prime }(x)=f(x)(1-f(x))$

$$\frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}=f\left({\beta }_j-{\theta }_j\right)\times \left[1-f\left({\beta }_j-{\theta }_j\right)\right]$$

$$\begin{array}{rl}\frac{\partial {\beta }_j}{\partial w_{hj}}& =\frac{\partial \left({\sum }_{h=1}^q{w}_{hj}{b}_h\right)}{\partial w_{hj}}\\ & =b_h\end{array}$$

令 $g_j=-\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}=-\left({\hat{y}}_j^k-y_j^k\right)\cdot {\hat{y}}_j^k\left(1-{\hat{y}}_j^k\right)={\hat{y}}_j^k\left(1-{\hat{y}}_j^k\right)\left(y_j^k-{\hat{y}}_j^k\right)$

此式即为书中式（5.10）

$$\begin{array}{rl}\Delta w_{hj}& =-\eta \frac{\partial E_k}{\partial w_{hj}}\\ & =-\eta \frac{\partial E_k}{\partial {\hat{y}}_j^k}\frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\cdot \frac{\partial {\beta }_j}{\partial w_{hj}}\\ & =\eta g_j{b}_h\end{array}$$

此式即为书中式（5.11）

2. 根据 $E_k$ 和 ${\theta }_j$ 的函数链式关系

$$\begin{array}{c}{E}_k=\frac{1}{2}{\sum }_{j=1}^l{\left({\hat{y}}_j^k-y_j^k\right)}^2\\ {\hat{y}}_j^k=f\left({\beta }_j-{\theta }_j\right)\end{array}$$

所以有

$$\begin{array}{rl}\frac{\partial E_k}{\partial {\theta }_j}& =\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\theta }_j}\\ & =\left({\hat{y}}_j^k-y_j^k\right)\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\theta }_j}\\ & =\left({\hat{y}}_j^k-y_j^k\right)\cdot \frac{\partial \left[f\left({\beta }_j-{\theta }_j\right)\right]}{\partial {\theta }_j}\\ & =\left({\hat{y}}_j^k-y_j^k\right)\cdot f^{\prime }\left({\beta }_j-{\theta }_j\right)\times -1\\ & =\left(y_j^k-{\hat{y}}_j^k\right)\cdot f^{\prime }\left({\beta }_j-{\theta }_j\right)\end{array}$$

$$\begin{array}{rl}\Delta {\theta }_j& =-\eta \frac{\partial E_k}{\partial {\theta }_j}\\ & =-\eta \left(y_j^k-{\hat{y}}_j^k\right){\hat{y}}_j^k\left(1-{\hat{y}}_j^k\right)\\ & =-\eta g_j\end{array}$$

此式即为书中式（5.12）

3. 根据 $E_k$ 和 $v_{ih}$ 的函数链式关系

$$\begin{array}{c}{E}_k=\frac{1}{2}{\sum }_{j=1}^l{\left({\hat{y}}_j^k-y_j^k\right)}^2\\ {\hat{y}}_j^k=f\left({\beta }_j-{\theta }_j\right)\\ \begin{array}{c}{\beta }_j={\sum }_{h=1}^q{w}_{hj}{b}_h\\ b_h=f\left({\alpha }_h-{\gamma }_h\right)\\ {\alpha }_h={\sum }_{i=1}^d{v}_{ih}{x}_i\end{array}\end{array}$$

其中 $f$ 为 Sigmoid 函数，所以有

$$\frac{\partial E_k}{\partial v_{ih}}=\sum _{j=1}^l\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\cdot \frac{\partial {\beta }_j}{\partial b_h}\cdot \frac{\partial b_h}{\partial {\alpha }_h}\cdot \frac{\partial {\alpha }_h}{\partial v_{ih}}$$

$$\begin{array}{rl}\frac{\partial {\beta }_j}{\partial b_h}& =\frac{\partial \left({\sum }_{h=i}^q{w}_{hj}{b}_h\right)}{\partial b_h}\\ & =w_{hj}\end{array}$$

$$\begin{array}{rl}\frac{\partial b_h}{\partial {\alpha }_h}& =\frac{\partial \left[f\left({\alpha }_h-{\gamma }_h\right)\right]}{\partial {\alpha }_h}\\ & =f^{\prime }\left({\alpha }_h-{\gamma }_h\right)\times 1\\ & =f\left({\alpha }_h-{\gamma }_h\right)\times \left[1-f\left({\alpha }_h-{\gamma }_h\right)\right]\\ & =b_h\left(1-b_h\right)\end{array}$$

$$\begin{array}{rl}\frac{\partial {\alpha }_h}{\partial v_{ih}}& =\frac{\partial \left({\sum }_{i=1}^d{v}_{ih}{x}_i\right)}{\partial v_{ih}}\\ & =x_i\end{array}$$
令 $$e_h=-\frac{\partial E_k}{\partial {\alpha }_h}=-\sum _{j=1}^l\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\cdot \frac{\partial {\beta }_j}{\partial b_h}\cdot \frac{\partial b_h}{\partial {\alpha }_h}=b_h\left(1-b_h\right)\sum _{j=1}^l{w}_{hj}{g}_j$$

此式即为书中式（5.15）

$$\begin{array}{rl}\Delta v_{ih}& =-\eta \frac{\partial E_k}{\partial v_{ih}}\\ & =-\eta \sum _{j=1}^l\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\cdot \frac{\partial {\beta }_j}{\partial b_h}\cdot \frac{\partial b_h}{\partial {\alpha }_h}\cdot \frac{\partial {\alpha }_h}{\partial v_{ih}}\\ & =\eta e_h{x}_i\end{array}$$

此式即为书中式（5.13）

4. 根据 $E_k$ 和 ${\gamma }_{\mathbf{h}}$ 的函数链式关系

$$\begin{array}{c}{E}_k=\frac{1}{2}{\sum }_{j=1}^l{\left({\hat{y}}_j^k-y_j^k\right)}^2\\ {\hat{y}}_j^k=f\left({\beta }_j-{\theta }_j\right)\\ \begin{array}{c}{\beta }_j={\sum }_{h=1}^q{w}_{hj}{b}_h\\ b_h=f\left({\alpha }_h-{\gamma }_h\right)\end{array}\end{array}$$
其中 $f$ 为 Sigmoid 函数，所以有

$$\begin{array}{rl}\frac{\partial E_k}{\partial {\gamma }_h}& =\sum _{j=1}^l\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\cdot \frac{\partial {\beta }_j}{\partial b_h}\cdot \frac{\partial b_h}{\partial {\gamma }_h}\\ & =\sum _{j=1}^l\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\cdot \frac{\partial {\beta }_j}{\partial b_h}\cdot \frac{\partial \left[f\left({\alpha }_h-{\gamma }_h\right)\right]}{\partial {\gamma }_h}\\ & =\sum _{j=1}^l\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\cdot \frac{\partial {\beta }_j}{\partial b_h}\cdot f^{\prime }\left({\alpha }_h-{\gamma }_h\right)\cdot (-1)\\ & =\sum _{j=1}^l\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\cdot \frac{\partial {\beta }_j}{\partial b_h}\cdot f\left({\alpha }_h-{\gamma }_h\right)\times \left[1-f\left({\alpha }_h-{\gamma }_h\right)\right]\cdot (-1)\\ & =\sum _{j=1}^l\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\cdot \frac{\partial {\beta }_j}{\partial b_h}\cdot b_h\left(1-b_h\right)\cdot (-1)\\ & =\sum _{j=1}^l{g}_j\cdot w_{hj}\cdot b_h\left(1-b_h\right)\\ & =e_h\end{array}$$
所以有
$$\begin{array}{rl}\Delta {\gamma }_h& =-\eta \frac{\partial E_k}{\partial {\gamma }_h}\\ & =-\eta e_h\end{array}$$

此式即为书中式（5.14）