神经网络为什么深

为什么神经网络越深效果越好？
因为神经网络越深抽象程度越高。比如你输入一张周迅的脸，通过特征提取（即卷积过程），提取出了眼睛，鼻子，嘴巴等。接着进行第二轮的特征提取，得到明眸大眼，高鼻子，蜜桃小嘴。然后不断抽象，最后这些特征组成了周迅。所以要么网络足够深，要么单层神经元个数足够多。但是网络太深，因为其中的权重线性相乘，很容易导致梯度爆炸或者梯度消失。但是如果你选择了单层网络来代替深层网络，那么计算量又会太大，因为三个的感受野和一个的感受野是等价的，但是,，计算量相差两倍，因此选择更深的网络而不是更宽的网络。

同样很深的XGBOOST为什么效果没有神经网络好？
神经网络引入了两个先验知识：1.特征可以拆分。2.可以迭代拆分。
因为可以迭代拆分，因此网络可以学习到底层特征之间的共享关系。因此深度学习的先验可以总结为特征可拆分和特征可共享，特征可共享就意味着需要引入特征变换，因为在原有的特征空间是学不出来的，需要引入特征变换。而基于树的模型都在原始特征空间折腾，没有进行任何特征背后factor的探索。但是在浅层特征数据中，深度学习就没有什么优势了。