【ML笔记】神经网络训练出错问题总结

• P8 2-1

Framework of ML

在training data上loss过大：

• MODEL BIAS:
  the model is too simple 模型太过简单
  
• optimization issue：
  model包含了 $\theta$ *,但是optimization并没有找到最好的 $\theta$ *
  

如何判断是Model bias 还是 optimization issue

从training data可以看出20层的loss要低于56层的loss。这就是optimization issue，表示没有找到最优的 $\theta$ *。

在training data上loss小：

在testing data上loss大：

• overfitting问题
  
  solution：
• more training data
• data augmentation

• constrained model

  bias-complexity trade-off