DNN概念理解

隐藏层：

一层隐层网络就是一层特征层次，每一个神经元可以类似看作一个特征属性。

先解释一层隐层网络就是一层特征层次这一点，有一点拗口。这在传统的神经网络中还不是很明显，在CNN中尤为明显。要明白这一点，首先得理解感受野。感受野是指CNN卷积核在卷积过程中关注的区域，比如第一层5×5的卷积核关注的区域大小就是5×5，卷积核关注的区域很小，所以浅层的网络关注的是细节特征，比如颜色、角点、直线曲线等等。但是由于CNN有池化采样的操作，feature map会逐渐变小，假如你第一层做了一个2×2的pooling池化，你第二层再做5×5的卷积核的卷积操作时，你关注的区域就是原图中的10×10的大小了，感受野变大了。以此类推，高层的卷积核关注的区域（感受野）就会越来越大，关注了也为更加抽象的局部/全局特征,，比如中层的胳膊、大腿、白色的皮包、车轮等等；高层的比如人、飞机、大象等等。就用下面这张图来近似表示一下吧，不严谨但大概就是这个意思。概括一下就是浅层的隐层网络更加关注局部的细节特征，高层的隐层网络更加关注全局的抽象特征，也就是不同的特征层次。