机器学习与深度学习(十一):过拟合解决方案

正则化项在神经网络中的应用

一般来说,正则化项的值越小,越容易出现过拟合现象。W越大,正则化项的泛化能力越强。

机器学习与深度学习(十一):过拟合解决方案_第1张图片

神经元越多,效果会越强,就能够表达复杂的模型,但过拟合的风险越大。
神经元就是权重参数W。

机器学习与深度学习(十一):过拟合解决方案_第2张图片
数据预处理

一般,对于图像来说,都会把0-255的颜色数据压缩到0——1区间之内。


机器学习与深度学习(十一):过拟合解决方案_第3张图片
权重初始化

神经网络迭代需要有一个初始的权重参数W,但是不能用0值(因为0乘啥都成0了...)
一般会做一个高斯初始化或随机初始化

还有一个被人遗忘的b……现在的论文都用0做初始化。
关于b偏置项的作用:
http://blog.csdn.net/xwd18280820053/article/details/70681750

DROP-OUT
机器学习与深度学习(十一):过拟合解决方案_第4张图片

全连接操作太多时,很容易过拟合,所以在每次BP算法中可以让一些W不参与运算。

你可能感兴趣的:(机器学习与深度学习(十一):过拟合解决方案)