机器学习——拟合神经网络参数

09.拟合神经网络参数

代价函数

衡量预测值与真实值差异的函数

• 在神经网络中，每一个神经元都有代价函数和正则化函数，以此进行反向传播，减小误差值

反向传播算法

为了求损失函数对每个需要更新的参数的偏导，让代价函数最小化

• 得出误差后返回隐藏层的偏导函数（误差项）中调整权重，以此减小整体函数值的误差

梯度检测

在反向传播中会导致一些bug的产生，以此得到的神经网络存在误差，但是我们并不知道，所以要解决这样的误差，用到梯度检测

• 梯度检测会估计梯度（或导数）值，然后和程序计算出的梯度（或导数）值进行比较，以判断程序计算出的梯度（或导数）值是否正确

随机初始化

防止对称权重的出现，即不让神经网络每个神经元输入的值相同，不然的话隐藏层所计算的函数值相同的，会失去它的意义

10.机器学习细节

模型选择

将数据集划分成训练集（60%）、验证集（20%）和测试集（20%）

• 学习参数得出训练误差和测试误差最小的模型
• 计算测试误差还可以得出误分辨率

方差和偏差

• 欠拟合会产生高偏差；过拟合过产生高方差
• 当模型欠拟合时，训练误差和验证误差都会较大；当模型过拟合时，训练误差很小，然而验证误差很大（说明模型泛化能力不强）

解决方法：正则化

加入合适的正则化项可以有效地避免过拟合（即高方差）

• 当正则化参数λ较大时，θj≈0(除θ外)，假设函数趋于直线，因而会造成高偏差的问题，导致欠拟合；
  当正则化参数λ较小时，正则化项不起作用，模型会变得过拟合。
• 对于高偏差，欠拟合

1. 增加特征个数
2. 增加多项式特征
3. 降低λ

• 对于高方差，过拟合

1. 增加训练样本
2. 减少特征个数
3. 增加λ
   神经网络中，参数越少，越容易欠拟合，参数越多，越容易过拟合，需要加入正则化项