【西瓜书学习笔记】第5章 神经网络

1.M-P神经元模型

 2.感知机

由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元，亦称“阈值逻辑单元”，

 

 

  感知机能容易的实际逻辑与、或、非运算，即可以解决线性可分的问题，

实现不了异或运算，即无法解决非线性可分问题

 3.多层前馈神经网络

多个神经元构成的神经网络能够分类线性不可分的数据集，且有理论证明（通用近似定理）：只需一个包含足够多神经元的隐层，多层前馈网络（最经典的神经网络之一）就能以任意精度逼近任 意复杂度的连续函数。因此，神经网络既能做回归，也能做分类，而且不需要复杂的特征工程

存在问题：面对一个具体场景，神经网络该做多深？多宽？ 面对一个具体场景，神经网络的结构该如何设计才最合理？ 面对一个具体场景，神经网络的输出结果该如何解释？

 

  

 标准BP算法与累积BP算法

BP神经网络经常遭遇过拟合问题，解决策略：

①早停：将数据集分成训练集和验证集，训练集用来计算梯度、更新连接权和阈值，验证集用来估计误差，若训练集误差降低但验证集误差升高，则停止训练，同时返回具有最小验证集误差的连接权和阈值。

②正则化：在误差目标函数中增加一个用于描述网络复杂度的部分，如：

 4.参数最优：全局最小与局部极小