【基础知识】LeeDL阅读笔记

训练损失：

训练损失大，有两种可能：1.模型复杂度不够高。2.优化的问题。如果训练损失大，可以先判断是模型偏差还是优化。

如果是模型偏差，就把模型变大。训练损失变小后，接下来看测试损失，如果测试数据损失也变小了，就说明模型复杂度变好了。

如果深的模型跟浅的模型作比较，深的模型明明灵活性比较大，但损失却比浅的模型更大，说明优化有问题，梯度下降不给力，因此要有一 些其它的方法来更好地进行优化。

当模型越来越复杂的时候，复杂到某一个程度，过拟合的情况就会出现。可以选一个中庸的模型，不是太复杂的，也不是太简单的，刚好可以在训练集上损失最低，测试损失最低。

不匹配：

不匹配跟过拟合其实不同，一般的过拟合可以用搜集更多的数据来克服，但是不匹配是

指训练集跟测试集的分布不同，训练集再增加其实也没有帮助了。