深度学习100问43:什么是过拟合

嘿，咱来聊聊过拟合是什么。
 
想象一下，有个机器学习的模型就像一个学生在准备考试。如果这个模型对训练数据就像学生把课本上的题目背得超级熟，在训练数据上表现得那叫一个棒，就像学生在做课本上的题时成绩超高。但是呢，一旦碰到新的、从来没见过的数据，就傻眼了，表现得一塌糊涂。这时候就可以说这个模型过拟合啦。
 
为啥会过拟合呢？一方面可能是这个模型太复杂了，就像学生学得太“死”，记住了训练数据里的一些小噪声和特别的小细节，结果真正考试的时候，新数据里可没有这些，那就抓瞎了。另一方面呢，如果训练数据太少，就像学生只学了那么一点点题目，那模型就会过度地去适应这些有限的数据，等遇到新数据的时候，就没办法好好发挥了，也就是没法很好地“泛化”到新数据上。