deep learning 让鱼和熊掌兼得

做笔记的目的

1、监督自己把50多个小时的视频看下去，所以每看一部分内容做一下笔记，我认为这是比较有意义的一件事情。
2、路漫漫其修远兮，学习是不断重复和积累的过程。怕自己看完视频不及时做笔记，学习效果不好，因此想着做笔记，提高学习效果。
3、因为刚刚入门深度学习，听课的过程中，理解难免有偏差，也希望各位大佬指正。

为什么有验证集但是仍然overfitting

用val数据集来筛选model，也可以理解为训练模型。在大的模型里面，在val上loss最低。所以抽到不好的$D_{val}$也是有概率不好的，所以也会存在overfitting，这里$H_{val}$相比之下会比较小。但如如果$H_{val}$比较大时也可能overfitting

为什么时Deep

陷入两难，大的模型弹性大，最优解更好，但是train和test差距大；小的模型弹性小，最优解差，但是train和test差距不大。如果让H小，但是又包含了比较好的model就可以达到鱼和熊掌兼得。

在实验上，相同的参数depp的结果更好，甚至Fat的神经网络参数很大时准确率依然不是很大，为什么那？



从上面两个图可以看出来，模拟相同的pieces，fat需要的参数更多更加容易overfitting，所以用deep learn实际上就是让鱼和熊掌兼得，是一个非常有潜力的方法。deep learning的一个优势就是可以用少的参数去模型更加复杂的function，与我们常常听到的deep learning容易过拟合产生了冲突，但是这个是从不同的角度去看的。
deep learning更加适合 loss function 是复杂但有规律的，比如语言和影像