【扫盲】机器学习图像处理中的深层/浅层、局部/全局特征

浅层网络与深层网络
浅层网络更注重于细节信息

深层网络更注重于语义信息

浅层网络：一般感受野较小，能够利用更多的细粒度特征信息，而且此时特征图每个像素点对应的感受野重叠区域还很小，这就保证了网络能够捕获更多细节。

深层网络：随着下采样或卷积次数增加，感受野逐渐增加，感受野之间重叠区域也不断增加，此时的像素点代表的信息是一个区域的信息，获得的是这块区域或相邻区域之间的特征信息，相对不够细粒度，但语义信息丰富。

低级特征与高级特征
低级特征来源于浅层网络，富含空间信息，空间信息的特征分辨率比较高。

高级特征来源于深层网络，富含语义信息，语义信息的特征分辨率比较低。

局部信息与全局信息
局部信息来源于浅层网络，即细粒度信息，此时的感受野比较小，故浅层网络得到的特征图局部信息比较丰富，该级别的特征图分辨率比较高，单个像素的感受野比较小，可以捕捉更多小目标的信息。

全局信息来源于深层网络，此时随着网络的加深，感受野变大，故深层网络得到的特征图全局信息更加丰富，该级别的特征图分辨率比较低，单个像素的感受野比较大，可以捕获更多中、大目标的信息。
 

浅层特征：浅层网络提取的特征和输入比较近，蕴含更多的像素点的信息，主要为一些细粒度的信息，比如颜色、纹理、边缘、棱角信息。

原理：浅层网络感受野较小，感受野重叠区域也较小，所以保证网络捕获更多细节

深层特征：深层网络提取的特征离输出较近，蕴含更抽象的信息，即语义信息，主要为一些粗粒度的信息。

原理：感受野增加，感受野之间重叠区域增加，图像信息进行压缩，目的是获取的是图像整体性的一些信息。

基于内容的图像检索(Content-based Image Retrieval, CBIR)方法利用从图像提取的特征来进行检索。

常用的图像特征主要有颜色、纹理和形状，包括局部特征和全局特征。

      局部特征是基于图像的某个区域提取的图像描述符，如尺度不变特征SIFT(Scale Invariant Feature Transform)。（相当于CNN网络的浅层卷积部分）；局部特征通常来自图片的视觉敏感区域。

     全局描述符基于整幅图像提取的描述符，如GIST。全局特征对图像的压缩率较高，但区分力不强；（相当于CNN网络的深层卷积部分）；因为一幅图片只能生成一个全局特征

局部特征的区分力强，但数目太多，故而各种编码方法被提了出来，如BOF(Bag of Features，特征袋)，Fisher向量 (Fisher Vectors, FV)，以及VLAD (Vector of Locally Aggregated Descriptors)等。BOF，VLAD，FV等描述符通常继承了局部特征的部分不变性，如对平移、旋转、缩放、光照和遮挡等与语义相关不大的因素保持不变。

卷积层特征与SIFT相比

有如下特点：

（1）卷积层特征类似于密集SIFT特征（通过网格式的密集采样得到）。卷积层特征与SIFT一样是局部特征，对应了图片的某个区域（可以将CNN特征图上每一个点反向映射回图片）, 是一种局部特征。

（2）卷积层特征是通过学习得到的，SIFT是手工类型。CNN的卷积层参数是可以针对不同的数据集通过迭代训练调优的，而且可通过简单的修改进一步改进（如增加深度、宽度等）而SIFT的参数是通过预先的精密设计固定的。

（3）卷积层特征具有层次性。不同的卷积层具有不同的语义层次，如浅层的特征图通常是一些边/角等，而中层则是物体的一部分,高层则通常是一个完整的物体。选用不同的层将可能达到完全不同的效果，该如何选择一个最优的层则到目前为止还没有一个最优的方法，通常通过测试多层的效果来达到。SIFT在不使用SP的情况下不具有层次性，描述的是边/角等比较低层次的特征，这也是为什么CCS将SIFT与CNN融合会有效果的原因之一。

（4）CNN卷积层特征维度比SIFT/SURF等浅层特征要大得多，而且计算量大，需要GPU辅助才能达到实时的效果，而且因为要存储很多卷积层特征图的原因，空间开销也要大得多。对于PC机而言，这不是什么大问题，然而未来的AI将可能无处不在，CNN在移动平台上的使用将成为一个具有挑战性的问题。随着类脑计算如火如荼的展开，各种神经处理专用芯片（如中科院陈云霁等研发的DaDianNao, Google最近研发的TPU等）不断涌现，此问题或者也将不是问题。
————————————————
版权声明：本文为CSDN博主「Dust_Evc」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/Dust_Evc/article/details/123854535