caffe学习笔记25-过拟合原因及分析

1.过拟合原因：

      1）样本数量太少，抽样方法错误，抽样时没有足够正确考虑业务场景或业务特点，等等导致抽出的样本数据不能有效足够代表业务逻辑或业务场景

      2）样本里的噪音数据干扰过大，大到模型过分记住了噪音特征，反而忽略了真实的输入输出间的关系
      3）就是建模时的“逻辑假设”到了模型应用时已经不能成立了，模型没有通用性，选择参数更少的网络
      4）没有用dropout
      5）weight_decay:默认0.005，可以适当调整，类似于正则化项
      6）发现train error还在降，但是validation error已经开始升了，停止训练，选取validation error最小时的模型参数

2.误差不能收敛原因：

      1）学习率是不是太大了

      2）有没有归一化
      3）输出层的类别数一定要大于训练集的类别数才可以收敛 
      4）网络结构不合理，网络不匹配
      5）迭代次数是不是少了

3.如何判断模型是否过拟合：

      不同的人提到过拟合/overfitting的时候可能会有不同的含义：

      1）training error比validation error小；
      2）training error还在降，但是validation error已经开始升了。
      1）考虑过多，超出自变量的一般含义维度，过多考虑噪声，会造成过拟合
      2）训练集预测效果好，测试集预测效果差，则为过拟合

4.如何判断模型是否欠拟合：

      1）明显的未充分利用数据，拟合结果不符合预期，甚至不能有效拟合训练集，我们可以认为欠拟合

      2）可以认为预测准确率、召回率都比理论上最佳拟合函数低很多，则为欠拟合

方向：思考训练数据量，类别数，网络结构层数之间的关系，考虑分辨率数据量和网络的能力之间是否相互匹配；如果不合适可以考虑更换网络或者增加数据量，欠拟合、过拟合没有明确的定义分界。