机器学习任务攻略--loss值为什么大

Framework of ML

General Guide

1 Model Bias

模型太简单，没有弹性。

“海里没有针”

 解决：给模型更大的弹性。

 2 Optimization Issue

 

 

 一般用到梯度下降方法，但是这种方法有很多问题，比如局部最优。“没办法把针捞出来”

 判断 Model Bias vs. Optimization Issue

比较不同的模型来判断模型够不够大。先跑小数据或者先跑简单的模型，如SVM（不容易有optimization失败的问题）、Linear Model，再用复杂的模型，如果复杂模型的效果不好，则说明模型的优化有问题。

 3 Overfitting

 训练数据的loss值小，但是测试数据的loss值大。

可能原因之一（如上图）：数据分布的情况不一样。蓝色代表训练数据集，训练出来的模型弹性比较大，因此，输入测试数据集时，就会导致loss值较大。（比较有弹性的模型，就会导致过拟合）

 解决：

①增大数据规模；

②给模型一些限制（取决于自己对问题的理解）；如少的参数、少的神经元数目；

③少的特征；

④early stopping；

⑤regularization；

⑥dropout。

 4 Mismatch

训练数据和测试数据分布不一样。