过拟合的理解

模型的复杂度太高，对于训练集的数据拟合能力太强，导致泛化能力不足，在测试集中结果很差。

1. 增加数据量
2. 加正则项（L1和L2），把模型的权重作为惩罚项加到loss function里
3. dropout(在神经网络中)，对a操作，a*d, a/prob
4. 简化模型结构，如减少树模型的深度，减少fully connection的层数。
5. data augmentation（数据增强，例如在图像处理中可以缩放，镜像等操作）
6. early stopping