深度学习网络 常见问题解决思路

1、神经网络过拟合问题

1、解决思想：
    ① 在不改变网络结构的情况下，使用 dropout（类似RF中的booststaping）
    ② 在不改变网络结构的情况下，使用 BN层（作用：在前面文章中），神经网络 毕竟 是一个线性累加的模型，每一个子
      项的值不能太大（参考 多项式扩展线性回归的过拟合问题）, 控制 w 与 x 值的大小至关重要， BN 层可以有效 控
      制网络中 x 值得大小，使预测 累加结果不会产生偏置效果（过拟合）。
    ③ 增大训练集的容量。
    ④ 更改网络的设计结构。eg：加入残差结构等等。

2、神经网络欠拟合问题

加深网络结构等...