用卷积神经网络（CNN）中的卷积核（过滤器）提取图像特征

       这两天在听吴恩达讲解卷积神经网络的视频，对利用卷积层检测边缘特征也就是提取图像的特征有了一定的理解，并且通过查阅资料，用python实现了提取图像特征的过程，然后趁热打铁总结一下，话不多说，直接步入正题。

一、卷积层的原理以及概述

在卷积神经网络中，卷积运算是对两个矩阵进行的。CNN主要是通过卷积运算来完成特征提取的。图像卷积运算，主要是通过设定各种特征提取滤波器矩阵（卷积核，通常设定大小为3x3,或者5x5的矩阵），然后使用该卷积核在原图像矩阵（图像实际是像素值构成的矩阵）‘滑动’，实现卷积运算。下图是对卷积运算过程的直观展示。

       该图出自： Convolutional Neural Networks - Basics

       上图中左侧为输入矩阵M，中间为过滤器F（也叫卷积核），F以一定步长在M上进行移动，进行点积运算，得到右侧的输出矩阵O。这个就是卷积神经网络中卷积层最基础的运算。上述的过程也可以称为对图像的边缘检测（分为垂直检测和水平检测），也可以称为对图像特征的提取。

       注意：中间的过滤器中的参数值并不是固定的，但是很多的学术者已经测试出许多优秀的参数值。当然我们也可以自己决定过滤器中参数值的大小，可以通过反向传播算法（BP）不断的更新参数值，最终选取合适的参数值。

二、利用卷积核提取图像特征python实现   

       本栗子参考米兰小子123博主的博客

import numpy as np
import cv2
from matplotlib import pyplot as plt


def conv(image, kernel, mode='same'):
    if mode == 'fill':
        h = kernel.shape[0] // 2
        w = kernel.shape[1] // 2

        image = np.pad(image, ((h, h), (w, w), (0, 0)), 'constant')
    conv_b = _convolve(image[:, :, 0], kernel)
    conv_g = _convolve(image[:, :, 1], kernel)
    conv_r = _convolve(image[:, :, 2], kernel)
    res = np.dstack([conv_b, conv_g, conv_r])
    return res


def _convolve(image, kernel):
    h_kernel, w_kernel = kernel.shape
    h_image, w_image = image.shape

    res_h = h_image - h_kernel + 1
    res_w = w_image - w_kernel + 1

    res = np.zeros((res_h, res_w), np.uint8)
    for i in range(res_h):
        for j in range(res_w):
            res[i, j] = normal(image[i:i + h_kernel, j:j + w_kernel], kernel)
    return res

def normal(image, kernel):
    res = np.multiply(image, kernel).sum()
    if res > 255:
        return 255
    elif res<0:
        return 0
    else:
        return res
if __name__ == '__main__':
    path = '../image/timg.jpg'      # 原图像路径
    image = cv2.imread(path)
    #kernel 是一个3x3的边缘特征提取器，可以提取各个方向上的边缘
    #kernel2 是一个5x5的浮雕特征提取器。
    kernel1 = np.array([
        [1, 1, 1],
        [1, -7.5, 1],
        [1, 1, 1]
    ])
    kernel2 = np.array([[-1, -1, -1, -1, 0],
                        [-1, -1, -1, 0, 1],
                        [-1, -1, 0, 1, 1],
                        [-1, 0, 1, 1, 1],
                        [0, 1, 1, 1, 1]])
    res = conv(image, kernel1, 'fill')
    plt.imshow(res)
    plt.savefig('../out/filtered_picdoramon01.png', dpi=600)
    plt.show()

       原图片： 

       经过特征提取之后的图像为： 

       经过浮雕特征提取器的结果：

三、代码解释 ：

       1、image = cv2.imread(path)

             imread是用来读取图片，结果一般是矩阵的形式

       2、image = np.pad(image, ((h, h), (w, w), (0, 0)), 'constant')

            image是指要填充的数组，((h, h), (w, w), (0, 0))是在各维度的各个方向上想要填补的长度,如（（1，2），（2，2）），   表示在第一个维度上水平方向上padding=1,垂直方向上padding=2,在第二个维度上水平方向上padding=2,垂直方向上padding=2。如果直接输入一个整数，则说明各个维度和各个方向所填补的长度都一样。constant指填补类型。举个栗子：

         （1）对一维数组的填充

import numpy as np
array = np.array([1, 1, 1])

# (1,2)表示在一维数组array前面填充1位，最后面填充2位
#  constant_values=(0,2) 表示前面填充0，后面填充2
ndarray=np.pad(array,(1,2),'constant', constant_values=(0,2)) 

print("array",array)
print("ndarray=",ndarray)

 result:

array [1 1 1]
ndarray= [0 1 1 1 2 2]

      （2）对二维数组的填充

import numpy as np
array = np.array([[1, 1],[2,2]])

"""
((1,1),(2,2))表示在二维数组array第一维（此处便是行）前面填充1行，最后面填充1行；
                 在二维数组array第二维（此处便是列）前面填充2列，最后面填充2列
constant_values=(0,3) 表示第一维填充0，第二维填充3
"""
ndarray=np.pad(array,((1,1),(2,2)),'constant', constant_values=(0,3)) 

print("array",array)
print("ndarray=",ndarray)

 result:

array [[1 1]
       [2 2]]

ndarray= [[0 0 0 0 3 3]
          [0 0 1 1 3 3]     
          [0 0 2 2 3 3]
          [0 0 3 3 3 3]]