Andrew NG DeepLearning:bias & variance

high bias/高偏差

• 含有更多隐藏层或者隐藏单元的网络

  make the Neural Network deeper

• 花费更多时间来训练网络

• 如果网络足够大，通常可以很好的拟合训练集=》扩大网络规模

  increase the number of units in each hidden layer

high variance

• 正则化/add regularization

  是一种非常实用的减少方差的方法，正则化时会出现偏差方差权衡问题，偏差可能略有增加，如果网络足够大，增幅通常不会太高。

  regularization parameter lamda

  正则化?设置得足够大，权重矩阵?被设置为接近于 0 的值，直观理解就是把多隐藏单元的权重设为 0，于是基本上消除了这些隐藏单元的许多影响。如果是这种情况，这个被大大简化了的神经网络会变成一个很小的网络，小到如同一个逻辑回归单
  元，可是深度却很大，它会使这个网络从过度拟合的状态更接近高偏差状态。

  过大=》weights smaller =》 high bias

  just fit =》ok

  过小 =》 high variance

• 方差高，最好的解决办法就是采用更多数据

  more training data

  data augmentation

正则化

• L2

  L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，权重衰减也叫L2正则化。

• dropout

• weight decay

  a regularization technique （such as L2 regularization ） that result in gradient descent shrinking the weights on every iteration

inverted dropout technique

normalize the inputs x

Increasing the parameter keep_prob from (say) 0.5 to 0.6 will likely cause the following: (Check the two that apply)