神经网络属于“联结主义”，和统计机器学习的理论基础区别还是很不一样。
以我自己的理解，统计机器学习的理论基于统计学，理论厚度足够强，让人有足够的安全感；而神经网络的理论更侧重于代数，表征能力特别强，不过可解释性欠佳。
这两个属于机器学习的两个不同的流派，偶尔也有相互等价的算法。
本文回顾神经网络最简单的构件：感知器、多层感知器。一些简单的代码实践可以参考：Python 实现感知器的逻辑电路（与门、与非门、或门、异或门）。
感知器
感知器是二类分类的线性分类模型，将实例划分为正负两类的分离超平面（separating hyperplane），属于判别模型。
感知器基于线性阈值单元（Linear Threshold Unit, LTU）构件的。以下是 LTU：
LTU 相当于对输入做一个线性组合，再加一个阶跃函数。
常用的阶跃函数是 Heaviside 和 Sign。
哪怕只有一个 LTU 也可以作为简单的线性二分类器，类似于逻辑回归或者线性 SVM。
感知器就是由一层 LTU 组成。以下是一个多输出分类器。
为了求得感知器的权重参数，需要确定一个学习策略，即定义损失函数并将损失函数极小化。有这样几种选择：
1. 误分类点的总数：损失函数不是 w, b 的连续可导函数，不易优化。
2. 误分类点到超平面的总距离：感知器所采用的损失函数。
感知器的损失函数是：
$$-\frac{1}{\left \| w \right \|}\sum_{x_i\in M}y_i(wx_i+b)$$
感知器学习问题转化为上式损失函数的最优化问题，最优化的方法是随机梯度下降法（stochastic gradient decent）。
感知器收敛性：当训练数据集线性可分时，感知器学习算法原始形式是收敛的。
感知器的具体算法分为两种形式：
1. 原始形式
2. 对偶形式：暂不介绍
原始形式算法：
$$w\leftarrow w+\eta y_ix_i$$
$$b\leftarrow b+\eta y_i$$
使用 sklearn 使用感知器算法：
1 import numpy as np 2 from sklearn.datasets import load_iris 3 from sklearn.linear_model import Perceptron 4 5 iris = load_iris() 6 X = iris.data[:, (2, 3)] # petal length, petal width 7 y = (iris.target == 0).astype(np.int) # Iris Setosa? 8 per_clf = Perceptron(random_state=42) 9 per_clf.fit(X, y) 10 11 y_pred = per_clf.predict([[2, 0.5]]) 12 13 print(y_pred)
输入如下：
[1]
与逻辑回归相比，感知器不能输出概率。
多层感知器
MLP 的组成：
- 1 个输入层
- 1 个以上的隐藏层
- 1 个输出层
当隐藏层多于 2 层时，又叫深度神经网络（Deep Neural Network, DNN）。
训练 MLP 的算法是后馈训练算法（backpropagation training algorithm）。后馈训练算法也就是使用反向自动求导（reverse-mode autodiff）的梯度下降法。
1. 前馈：在每个连接层计算每个神经元的输出。
2. 计算网络的输出误差，并且计算最后一层的每个神经元对于误差的贡献程度。
3. 继续计算上一层的每个神经元对于误差的贡献程度。
4. 直到算法到达输入层。
为了很好地实施后馈训练算法，D. E. Rumelhart 对于神经网络架构做了重大的改变：把阶跃函数改为了几率函数（logistic function）$f(z)=\frac{1}{1+e^{-z}}$。因为阶跃函数导数都为 0，无法实施梯度下降；而几率函数处处可导。
除了用几率函数作为激活函数之外，还有：
- 双曲正切函数：tanh (z) = 2σ(2z) – 1。S 形状、连续、可导，不过输出值在 -1 到 1 之间，使得训练开始时神经层输出更加正则化，常常加速收敛。
- ReLU 函数：ReLU (z) = max (0, z)。连续，但是在 z=0 处不可导，可能使梯度下降震荡。但在实际中，ReLU 效果不错，速度也快。此外，由于它没有最大值，可以缓解一些梯度下降的问题。
MLP 常常用于分类问题，每个输出对应一个不同的二值类别。如果类别太多了（比如数字图片 0~9），输出层常常用另一个共用的激活函数来代替：Softmax 函数。
参考
- 《Neural networks and deep learning》by Aurélien Géron