Machine Learning Watermelon Book Blog 4

Chapter 5

5.1 神经元模型

在生物神经网络中，每个神经元与其他神经元相连，当它“兴奋”时，会向相连的神经元传递化学物质，从而改变神经元内的电位分布，当电位超过一个“阈值”时，就会被激活，即兴奋起来，向其他神经元发送化学物质。

通过上述情形，McCulloch and Pitts在1943年创建了一个“M-P神经元模型”。

在这个模型中，神经元接受来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，通过激活函数产生神经元的输出。

 

两种激活函数包括：阶跃函数和Sigmoid函数。

5.2 感知机与多层网络

感知机由两层神经元组成，输入层接收信号传输给输出层，输出层是M-P神经元，亦称“阈值逻辑单元”。

 感知机能够容易的实现逻辑与、或、非的运算。

但是，对于非线性可分的问题，需考虑使用多层功能神经元，输入层与输出层之间有一层神经元，称为隐含层，隐含层和输出层神经元都是拥有激活函数和功能性神经元。

5.3 误差逆传播算法

误差逆传播算法简称BP算法。 

BP算法是基于梯度下降的策略，以目标的负梯度方向对参数进行调整。就是调整那一层的神经元的输入参数就将损失函数对该输入前一层的输出进行就偏导，乘以学习率即可得到变化量。

 

经常过拟合用早停和正则化的方法。

早停（early stopping）：将数据分为训练集与验证集，训练集用来计算梯度、更新链接权和阈值，验证集用来估计误差，验证集用于评估误差，若在训练过程中，训练集误差降低，而验证集误差升高，则停止训练，同时返回具有最小验证集的连接权和阈值。

正则化（regularization）：在误差函数中加一个描述网络复杂度的部分，例如连接权与阈值的平方和，则误差函数变为

 5.3 全局最小与局部即极小

跳出局部极小的方法：