为什么小样本不建议用深度学习？

机器学习里，模型越复杂、越具有强表达能力越容易牺牲对未来数据的解释能力，而专注于解释训练数据。这种现象会导致训练数据效果非常好，但遇到测试数据效果会大打折扣。这一现象叫过拟合（overfitting）。

深层神经网络因为其结构，所以具有相较传统模型有很强的表达能力，从而也就需要更多的数据来避免过拟合的发生，以保证训练的模型在新的数据上也能有可以接受的表现。

作者：知乎用户
链接：https://www.zhihu.com/question/29633459/answer/45049798
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

---

对于classification model，有这样一个结论:

上式中N是训练样本数量，η大于等于0小于等于1，h是classification model的VC dimension。具体见wiki：VC dimension。

其中的这项：

也叫model complexity penalty。可以看到，test error小于training error加上model complexity penalty的概率是1-η。如果现在训练模型的算法能使得training error很小，而model complexity penalty又很小，就能保证test error也很小的概率是 1-η。所以要使得模型的generalization比较好，要保证training error和model complexity penalty都能比较小。观察model complexity penalty项，可以看到，h越大，model complexity penalty就会越大。N越大，model complexity penalty则会越小。大致上讲，越复杂的模型有着越大的h（VC dimension），所以为了使得模型有着好的generalization，需要有较大的N来压低model complexity penalty。 这就是为什么深度学习的模型需要大量的数据来训练，否则模型的generalization会比较差，也就是过拟合。

作者：知乎用户
链接：https://www.zhihu.com/question/29633459/answer/45138977
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。