西瓜书 机器学习 第五章读书笔记

前言

新手，记录一下自己的理解，也是读书笔记，并不进行公式推导。(公式推导的视频也很多)

5.1 神经元模型

神经网络是 T.Kohonen在1988给出的定义

因为阶跃函数的不连续和不光滑，所以我们的激活函数通常会采用sigmoid。

5.2 感知机和多层网络

为什么要引入感知机和多层网络？
在简单的处理中，比如与，或，非，如果W求的不好，容易发生震荡。其次单层神经元无法解决更复杂的问题，比如异或。

所以我们引入了多层的神经网络，。

5.3 误差逆传播算法

主要讲的是在前文的公式下，通过BP(BackPropagation),来对w和b进行更新。
文件还提到了标准BP算法和累计BP算法。标准BP算法相当于边算变更新参数，而累计BP算法是，读完整个数据集后在更新。

文中还提到了一个也是困扰我的问题，如何设置隐藏神经元的个数

wf
基于BP的过拟合提出了解决办法：
1.‘早停‘(early stopping),若训练集误差降低但验证集误差升高，就停止训练。
2.‘正则化’(regularization),后面的重点

5.4 全局最小和局部最小

很多情况下，我们求的最下误差函数对应的*w,*b可能并不是最优解，它可能只是局部最小。
跳出局部最小有两种办法：
1.’模拟退火‘(simulated annealing)
https://blog.csdn.net/weixin_42398658/article/details/84031235
2.随机梯度下降(他居然还有这个功能)

后面的就随便看了看，现在没接触到那些东西，所以先放放。