MLP多层感知机的认识

MLP（MultiLayer Perception）

一、机器学习（周志华）和统计学习方法（李航）

1. 感知机与多层网络

感知机是神经网络和支持向量机的基础
感知准则：特点是随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定

二类分类的线性分类模型$f(x)=sign(w\cdot x+b)$

输入：特征向量
输出：实体的类别，取+1和-1二值

思想：导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型

1.1 感知机模型

感知机模型对应于输入空间中将实例划分为正负两类的分离超平面 $w\cdot x+b=0$，属于判别模型

定义：假设输入空间（特征空间）是$\mathcal{X}\in {\mathcal{R}}^n$，输出空间是$\mathcal{Y}\in \{-1,+1\}$。输入$x\in \mathcal{X}$表示实例的特征向量，对应于输入空间的点；输出$y\in \mathcal{Y}$表示实例的类别。由输入空间到输出空间的如下函数：
$$f(x)=sign(w\cdot x+b)\text{\hspace{1em}(感知机)}$$
$$sign(x)=\{\begin{array}{ll}+1,& x\ge 0\\ -1,& x<0\end{array}\text{\hspace{1em}(符号函数)}$$
假设空间：所有线性分类模型或线性分类器
$$\{f|f(x)=w\cdot x+b\}$$
感知机模型如图所示：
几何解释：
超平面$S$：$w\cdot x+b$
法向量$w$
学习目标：寻找超平面，即求参数$w,b$的值

1.2 感知机学习策略

假设训练数据集是线性可分的，感知及学习的目标是求得一个能够将训练集正负实例点完全正确分开的分离超平面，即确定感知机模型参数 $w,b$，需要确定一个学习策略，即定义（经验）损失函数并将损失函数极小化
损失函数的一个自然选择是误分类点的总数，但这样的损失函数不是参数 $w,b$ 的连续可导函数，不易优化。损失函数的另一个选择是误分类点到超平面 $S$ 的总距离，这是感知机所采用的、

数据集的线性可分性定义：给定一个数据集
$$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\},$$

其中，$x_i\in {\mathcal{R}}^n,y_i\in \mathcal{Y}=\{+1,-1\},i=1,2,...,N.$如果存在某个超平面$S$
$$w\cdot x+b=0$$

输入空间 ${\mathcal{R}}^n$ 中任一点$x_0$到超平面$S$的距离：
$$\frac{1}{\Vert w\Vert }|w\cdot x_0+b|\text{\hspace{1em}(∥w∥ 是 w 的 L2范数 )}$$

证明：

$\because x_1$在超平面上，$\therefore w{x}_1+b=0$，$\therefore w{x}_1=-b$
又$$\begin{gathered} \because |w\cdot x_0{x}_1| \\ =||w||x_0{x}_1|\cdot cos<w,x_0{x}_1>| \\ =|w||x_0{x}_1| \\ =\sqrt{(w^0{)}^2+(w^1{)}^2+...+(w^{n-1}{)}^2}\cdot d \\ =\Vert w\Vert \cdot d \end{gathered}$$
且 $$\begin{gathered} w\cdot x_0{x}_1 \\ =w^0(x_1^0-x_0^0)+w^1(x_1^1-x_0^1)+...+w^{n-1}(x_1^{n-1}-x_0^{n-1}) \\ =w^0{x}_1^0+...+w^{n-1}{x}_1^{n-1}-(w^0{x}_0^0+...+w^{n-1}{x}_0^{n-1}) \\ =(-b)-(w^0{x}_0^0+...+w^{n-1}{x}_0^{n-1}) \\ =-(b+w\cdot x_0) \end{gathered}$$
联系上述两个推导：
$$\begin{gathered} |w\cdot x_0{x}_1| \\ =||w||\cdot d \\ =|w^0{x}_0^0+...+w^{n-1}{x}_0^{n-1}-(-b)| \\ =|-(b+w\cdot x_0)| \end{gathered}$$
也即：$||w||\cdot d=|-(b+w\cdot x_0)|=|b+w\cdot x_0|$
综上：
$d=\frac{1}{\Vert w\Vert }|w\cdot x_0+b|$

对于误分类点 $(x_i,y_i)$，因为当$(w{x}_i+b)>0$时，$y_i=-1$；而当$(w{x}_i+b)<0$时，$y_i=+1$。所以$-y_i(w{x}_i+b)>0$恒成立（正确的分类点$(x_j,y_j)$是满足 $y_j(w{x}_j+b)>0$ 的）。因此误分类点到超平面的距离为：
$$-\frac{y_i(w\cdot x_i+b)}{\Vert w\Vert }$$

假设超平面 $S$ 的误分类点集合为 $M$ ，那么所有误分类点到超平面的总距离为：
$$-\frac{1}{\Vert w\Vert }\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$

由此我们可以把这个误分类点集合里的点到超平面 $S$ 的总距离转化为一个损失函数，由于$\Vert w{\Vert }_2=\sqrt{(w^0{)}^2+(w^1{)}^2+...+(w^{n-1}{)}^2}$并不影响我们优化这个损失函数，反而会提升我们计算的复杂度，因此不予考虑，所以我们最后的损失函数(即感知机学习的经验风险函数)形式为：
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(1)}$$

损失函数$L(w,b)$非负。如果没有误分类点，L=0
误分类点越少，误分类点离超平面越近，损失函数值越小

1.3 感知机学习算法

当感知机学习问题转化为求解损失函数（式(1)）的最优化问题，最优化的方法是随机梯度下降SGD
原始形式
$$\underset{w,b}{\min }L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(2)}$$

求使损失函数极小化的参数 $w,b$

具体采用随机梯度下降法：任取一个超平面 $w_0,b_0$，然后用梯度下降法不断极小化目标函数 $(2)$，极小化过程中每一次都随机选取一个误分类点使其梯度下降。
假设误分类点集合 $M$ 固定，则损失函数 $L(w,b)$ 的梯度为：
$${\nabla }_{w}L(w,b)=-\sum _{x_i\in M}{y}_i{x}_i\text{\hspace{1em}((1)对w求导)}$$

$${\nabla }_{b}L(w,b)=-\sum _{x_i\in M}{y}_i\text{\hspace{1em}((1)对b求导)}$$

然后随机选取一个误分类点 $(x_i,y_i)$，对 $w,b$ 进行更新：
$$w\leftarrow w+\eta y_i{x}_i\text{\hspace{1em}(update w)}$$

$$b\leftarrow b+\eta y_i\text{\hspace{1em}(update b)}$$

$$\eta (0<\eta \le 1)\text{\hspace{1em}(步长，又叫做学习率learning rate)}$$

感知机算法的原始形式：
输入：训练数据集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中 $x_i\in \mathcal{X}={\mathcal{R}}^n,y_i\in \mathcal{Y}=\{-1,+1\},i=1,2,...,N;$ 学习率 $\eta (0<\eta \le 1)$
输出：$w,b$ ；感知机模型$f(x)=sign(w\cdot x+b)$
(1) 选取初值 $w_0,b_0$
(2) 在训练集中选取数据 $(x_i,y_i)$
(3) 如果 $y_i(w\cdot x_i+b\le 0)$
$$w\leftarrow w+\eta y_i{x}_i$$

$$b\leftarrow b+\eta y_i$$

(4)转至(2)，直至训练集没有误分类点
算法直观解释：不断调整分离超平面向误分类点移动，从而减少误分类点到超平面的距离，直至误分类点被分类正确
注：感知机算法存在很多解，这些解与两个因素有关：初值、迭代过程中误分类点的选择顺序

1.4 感知机学习算法的收敛性

收敛：经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面和感知机模型
诺维科夫定理，证明太复杂，略…等有可能用到的时候再看吧…
定理表明：

1. 误分类的次数$k$是有上界的，经过有限次搜索可以找到将训练数据完全正确分开的分离超平面。
2. 当训练数据集线性可分时，感知及学习算法原始形式迭代是收敛的
3. 当训练数据集线性不可分时，感知机学习算法不收敛，迭代结果会发生震荡
4. 在感知机的基础上，为了得到唯一的超平面，需要对分离超平面增加约束条件，这就是线性支持向量机的想法。

1.5 感知机学习算法的对偶形式

对偶形式的基本想法：将 $w$ 和 $b$ 表示为实例 $x_i$ 和标记 $y_i$ 的线性组合的形式，通过求解其系数而求得 $w$ 和 $b$
对误分类点 $(x_i,y_i)$，对 $w,b$ 进行更新：
$$w\leftarrow w+\eta y_i{x}_i\text{\hspace{1em}(update w)}$$

$$b\leftarrow b+\eta y_i\text{\hspace{1em}(update b)}$$

逐步修改 $w,b$，设修改 $n$ 次，则 $w,b$ 关于 $(x_i,y_i)$的增量分别是 $\alpha y_i{x}_i$ 和 $\alpha y_i$，其中$\alpha =n_i\eta$，则将整个学习过程整合起来有：
$$w=\sum _{i=1}^N\alpha y_i{x}_i\text{\hspace{1em}(α≥0,i=1,2,...,N)}$$

$$b=\sum _{i=1}^N\alpha y_i\text{\hspace{1em}(α≥0,i=1,2,...,N)}$$

当学习率 $\eta =1$ 时，${\alpha }_i$表示第 $i$ 个实例点由于误分而进行更新的次数。次数越多，意味着误分类点距离分离超平面越近，也就越难正确分类。换句话说，这样的实例对学习结果影响最大。

感知机算法的对偶形式：
输入：训练数据集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中 $x_i\in \mathcal{X}={\mathcal{R}}^n,y_i\in \mathcal{Y}=\{-1,+1\},i=1,2,...,N;$ 学习率 $\eta (0<\eta \le 1)$
输出：$\alpha ,b$ ；感知机模型$f(x)=sign\left({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b\right)$，其中 $\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_N{)}^T$
(1) $\alpha \leftarrow 0,b\leftarrow 0$
(2) 在训练集中选取数据 $(x_i,y_i)$
(3) 如果 $y_i\left({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b\right)\le 0$
$${\alpha }_i\leftarrow {\alpha }_i+\eta$$

$$b\leftarrow b+\eta y_i$$

(4) 转至(2)，直至训练集没有误分类点

Gram矩阵：训练集中实例点的两两内积构成的矩阵
$$\mathbf{G}={\left[\begin{array}{c}{x}_i\cdot x_j\end{array}\right]}_{N\times N}={\left[\begin{array}{cccc}{x}_1\cdot x_1& x_1\cdot x_2& ...& x_1\cdot x_N\\ x_2\cdot x_1& x_2\cdot x_2& ...& x_2\cdot x_N\\ ...& ...& ...& ...\\ x_N\cdot x_1& x_N\cdot x_2& ...& x_N\cdot x_N\end{array}\right]}_{N\times N}$$

1.5 西瓜书中描述的感知机

感知机由两层神经元组成，输入层接受外界输入信号后传递给输出层，
权值$w_i$更新公式，其中$\hat{y}$表示感知机的输出，$y$表示训练样本$(X,y)$里的$y$，也就是样本的真实值，
$\Delta w_i$是学习率 $\eta \in (0,1)$ 乘差值 $y-\hat{y}$ 再乘样本值 $x_i$

如果感知机对训练样本$(X,y)$预测正确，即$\hat{y}=y$，则感知机不发生变化，否则将根据错误的程度进行权重调整。

感知机只有输出层神经元进行激活函数处理，即只拥有一层功能神经元(functional neuron)，学习能力非常有限。
与、或、非问题都是线性可分的，如图：

能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，即对所有$y_i=+1$的实例 $i$，有$w\cdot x_i+b>0$，对所有$y_i=-1$的实例 $i$，有$w\cdot x_i+b<0$，则称数据集 $T$ 为线性可分数据集。

“若两类模式是线性可分的，即存在一个线性超平面将它们分开，则感知机的学习过程一定会收敛而球的适当的权值向量$w=(w_1;w_2;...;w_{n+1})$，否则感知机学习过程将会发生振荡，$w$难以稳定下来，不能求得合适解。”换句话说，感知机甚至不能解决如下图异或这样简单的非线性可分问题

所以要解决非线性可分的问题，就需要考虑使用多层功能神经元，比如用简单的两层感知机就能解决异或问题，如下图
多出来的一层叫做隐藏层，在输入层和输出层之间，隐藏层和输出层神经元都是拥有激活函数的功能神经元，神经网络的层级结构如图所示：

上图中就是平时所说的多层前馈神经网络（“前馈”不意味着网络中信号不能向后传，而是指网络拓扑结构上不存在环或回路）
特点：每层神经元与下一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接，输入层神经元接受外界输入，隐藏层和输出层神经元对信号进行加工，最终结果由输出层神经元输出。

2.机器学习内容小结

神经网络的学习过程就是根据训练数据来调整神经元之间的“连接权”以及每个功能神经元的阈值。

以下部分转自知乎

神经网络的变种目前有很多，如误差反向传播（Back Propagation，BP）神经网路、概率神经网络、卷积神经网络（Convolutional Neural Network ，CNN-适用于图像识别）、时间递归神经网络（Long short-term Memory Network ，LSTM-适用于语音识别）等。但最简单且原汁原味的神经网络则是多层感知器（Muti-Layer Perception ，MLP）

使用全连接层（fully connected layer）
只接受向量（vector）作为输入

全连接层的意思就是：
z上一层的任何一个神经元与下一层的所有神经元都有连接

CNN(卷积神经网络）
采用局部连接层（locally connected layer）
可接受矩阵（matirx）作为输入
在图像处理上，CNN 使用稀疏连接层，来解决 MLP 向量输入时丢失的像素或像素之间的 2D 空间信息（spatial information）。

PS：tesorflow的一个图例

MLP神经网络的结构和原理

理解神经网络主要包括两大内容，一是神经网络的结构，其次则是神经网络的训练和学习，其就好比我们的大脑结构是怎么构成的，而基于该组成我们又是怎样去学习和识别不同事物的。

神经网络其实是对生物神经元的模拟和简化，生物神经元由树突、细胞体、轴突等部分组成。树突是细胞体的输入端，其接受四周的神经冲动；轴突是细胞体的输出端，其发挥传递神经冲动给其他神经元的作用，生物神经元具有兴奋和抑制两种状态，当接受的刺激高于一定阈值时，则会进入兴奋状态并将神经冲动由轴突传出，反之则没有神经冲动。

我们基于生物神经元模型可得到多层感知器MLP的基本结构，最典型的MLP包括包括三层：输入层、隐藏层和输出层，MLP神经网络不同层之间是全连接的（全连接的意思就是：上一层的任何一个神经元与下一层的所有神经元都有连接）

神经网络主要有三个基本要素：权重、偏置和激活函数

权重：神经元之间的连接强度由权重表示，权重的大小表示可能性的大小
偏置：偏置的设置是为了正确分类样本，是模型中一个重要的参数，即保证通过输入算出的输出值不能随便激活
激活函数：起非线性映射的作用，可将神经元的输出幅度限制在一定范围内，一般限制在（-1,1）或（0,1）之间。最常用的激活函数是Sigmoid函数，其可将（-∞，+∞）的数映射到（0~1）的范围内。

激活函数还有tanh和ReLU等函数，tanh是Sigmoid函数的变形，tanh的均值是0，在实际应用中有比Sigmoid更好的效果；ReLU是近来比较流行的激活函数，当输入信号小于0时，输出为0；当输入信号大于0时，输出等于输入；具体采用哪种激活函数需视具体情况定。

一张图体现bias的作用

MLP的最经典例子就是数字识别，即我们随便给出一张上面写有数字的图片并作为输入，由它最终给出图片上的数字到底是几

对于一张写有数字的图片，我们可将其分解为由28*28=784个像素点构成，每个像素点的值在（0~1）之间，其表示灰度值，值越大该像素点则越亮，越低则越暗，以此表达图片上的数字并将这786个像素点作为神经网络的输入(知乎链接里有一个视频，讲解的很清楚)