Multi-linear classification（MLP）多层神经网络基础原理

感知器vol.2

线性分类不能分隔非线性的边界，可以用多个超平面来取代单个超平面

如图简单示意合并两个超平面对数据进行分类

对hyperplane A和B的输出zA和zB，计算 以0为临界值

取h+1个神经元可以构成一个multi-linear classifier，其中h个hyperplane作边界分割，1个作为h个hyperplane的混合器

用不同的方式将神经元组合在一起，所形成的感知器就叫做 multi-layer perceptron (MLP)

xi是点X输入的各方向的坐标，yi是第一层的输出，z是整个感知器的输出，vi,j是从xi到yj的系数，wi是从yi到z的系数，由此我们得到一个MLP模型

MLP learning

多层的学习方式和单层类似：

每次取单点计算Error并通过改变hyperplane来降低error，并重复该过程

我们将两层的系数分别计为vb,a和wb，通过这两个系数的偏导数来减小eout
下面的表达式中v的下标b，a，b代表到处的因子为yb，导入的因子为xa。

像delta rule一样，我们通过一阶偏导数修正v和w

于是有 ，z是经过当前模型计算后得出的值，z*是训练样本中的原值。令yh和xn等于1

同理可得关于vb,a的一阶偏导数

更新过程和linear classification一样，同样是步骤t的系数值加上偏导数与learning rate的乘积

Back-propagation algorithm

该算法用于计算怎么样高效地将b和w系数收敛到合理值

第一遍将y和z的值按一遍的顺序算出 ，并计算出关于各个维度的偏导数

再计算 ，展开讲 依次求出y0到yn的值和其偏导数，接着 ，求出 ，继而 ，

完成更新步骤

其余和linear classification的循环类似

可以将Retro-propagation algorithm 可以作为回归算法

输入值为一系列输入点X

一系列对于每一个点X的value值

调用back-propagation减少error

MLP对范围有要求[-1，1]之间，如果输入值大于范围，则MLP会丢失信息

过多的神经元会导致过拟合，并对数据中的噪音较敏感

training error：在对数据进行回归时的误差，有最小值

testing error：在training中没有用到的点误差，当到达最小值后升高