吃瓜教程-Task4（第5章）

1.学习记录

        1.1 最简单，最经典的神经元模型是“M-P神经元模型”，常用激活函数有sigmoid函数，ReLU函数。

        1.2 感知机是由两层神经元组成的，能对线性可分问题处理较好，但非线性可分问题不行。

        1.3 多层网络使用的学习算法，最经典的是“BP算法”。

        1.4 常用的处理过拟合问题方法：1.早停；2.正则化。

        1.5 常用跳出局部最小方法：1.多次重置初始化参数；2.“模拟退火”方法；3.随机梯度下降法；4.遗传算法。

2.疑惑存留

        2.1 BP算法的推导过程。

3.自己的理解

        3.1 其他常见的神经网络：1.RBF网络；2.ART网络（竞争性学习）；3.SOM网络（竞争性学习）；4.级联相关网络；5.Elman网络（CNN）；6.Boltzman机（与“能量”相关）；7.深度学习网络。