# Datawhale 计算机视觉基础-图像处理（上）-Task04 图像滤波 小白学习笔记

4.1 简介

图像的实质是一种二维信号，滤波是信号处理中的一个重要概念。在图像处理中，滤波是一种非常常见的技术，它们的原理非常简单，但是其思想却十分值得借鉴，滤波是很多图像算法的前置步骤或基础，掌握图像滤波对理解卷积神经网络也有一定帮助。

4.2 算法理论介绍

4.2.1 均值滤波、方框滤波

1. 滤波分类

线性滤波：
- 对领域中的像素的计算为线性运算时，如利用窗口函数进行平滑加权求和的运算，或某种卷积运算，都可以成为线性滤波。
- 常见的线性滤波有：均值滤波、高斯滤波、盒子滤波、拉普拉斯滤波等。通常线性滤波器之间只是模板系数不同。

非线性滤波：
非线性滤波利用原始图像跟模板之间的一种逻辑关系得到结果，如最值滤波器，中值滤波器。比较常用的有中值滤波器和双边滤波器。

2.方框（盒子）滤波

• 方框滤波是一种非常有用的线性滤波，也称盒子滤波。均值滤波就是盒子滤波归一化的特殊情况。
  - **应用：**一切需求某个领域内像素之和的场合，都有方框滤波的用武之地。比如：均值滤波、引导滤波、计算Haar特征等等。
  - **优势：**一个字，快！它可使复杂度为O(MN)的求和，求方差等运算降低到近视于O(1)的复杂度。就是说与领域尺寸无关，有点类似积分图，但比积分图更快（与实现方式有关）。

在原理上，是采用一个卷积核与图像进行卷积：
$$K=\alpha \left[\begin{array}{cccccc}1& 1& 1& ...& 1& 1\\ 1& 1& 1& ...& 1& 1\\ & & & .........& & \\ 1& 1& 1& ...& 1& 1\end{array}\right]$$
其中：
$$\alpha =\{\begin{array}{llc}\frac{1}{ksize.width\ast ksize.height}& when& normalize=true\\ 1& otherwise& \end{array}$$

可见，归一化就是均值滤波；不归一化就可算每个像素邻域上的各种积分特性，方差、协方差、平方和等等。

3. 均值滤波

均值滤波的应用场合：
- 根据冈萨雷斯书中描述，均值模糊可以模糊图像以便得到感兴趣物体的粗略描述。也就是，去除图像中的不相关细节。
- 其中“不相关”是指与滤波器模板尺寸相比较小的像素区域，从而对图像有一个整体的认知。即为了对感兴趣的物体得到一个大致的整体的描述而模糊一幅图像，忽略细小的细节。

均值滤波的缺陷：
- 均值滤波本身存在着固有的缺陷：他不能很好地保护图像细节。在图象去噪的同时也破坏了图象的细节部分，从而使图象变模糊，不能很好地去噪声点。特别是椒盐噪声。
- 均值滤波是上述方框滤波的特殊情况。
- 均值滤波方法：对待处理的当前像素，选一个模板，该模板为其邻近的若干个像素组成，用模板的均值（方框滤波归一化）来替代原像素的值。

公式：$g(x,y)=1/n{\sum }_{I\in Neighbour}I(x,y)$

• g(x,y):该领域的中心像素
• n跟系数模板大小有关，一般3*3领域的模板
• n取值：9
  如：

$$\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right]$$

模板是可变的，一般取奇数，如57,77等。
注：在实际处理中可对图像边界进行扩充：扩充为0，或，扩充为邻近的像素值。

4.2.2 高斯滤波

应用：
- 高斯滤波是一种线性平滑滤波器，对于服从正态分布的噪声有很好的抑制作用。
- 在实际场景中，我们通常会假定图像包含的噪声为高斯白噪声，所以在许多实际应用的预处理部分，都会采用高斯滤波抑制噪声，如传统车牌识别等。
- 高斯滤波和均值滤波一样，都是利用一个掩膜和图像进行卷积求解。
- 不同之处：
- 均值滤波器的模板系数都同为1
- 高斯滤波器的模板系数，随距离模板大小的增大而（系数）减少（服从二维高斯分布）。
- 因此，高斯滤波器相比于均值滤波器对图像个模糊程度小，更能保持图像的整体细节。

高斯分布公式：$f(x,y)=\frac{1}{(\sqrt{2\pi }\sigma {)}^2}{e}^{-((x-ux{)}^2+(y-uy{)}^2)/2{\sigma }^2}$

• 其中，无需纠结于系数。它只是一个常数，不会影响相互之间的关系。而且最终都要进行归一化。
  - 因此在实际计算中，只计算后半部分：$f(x,y)=e^{-((x-ux{)}^2+(y-uy{)}^2)/2{\sigma }^2}$
  - (x,y):掩膜内任一点的坐标
  - (ux,uy):掩膜内中心点的坐标，在图象处理中可认为是整数
  - $\sigma$:标准差

例：要产生一3x3的高斯滤波器模板，以模板的中心位置为坐标原点进行取样。模板在各个位置的坐标。如下图：（x轴水平向右，y轴竖直向下）

• 将各个位置的坐标带入到高斯函数中，得到的值为模板的系数。对窗口模板的大小：(2k+1)x(2k+1)，模板中各个元素值得计算公式：$H_{i,j}=\frac{1}{(\sqrt{2\pi }\sigma {)}^2}{e}^{-\frac{(i-k-1{)}^2+(j-k-1{)}^2}{2{\sigma }^2}}$
  - 这样计算出来的模板有两种形式:
  1. 小数形式的模板：直接计算得到的值，没经过任何的处理。
  2. 整数形式的模板：需进行归一化处理。将模板左上角的值归一化为1。使用时，需要在模板前面加一个系数，系数为模板系数和的倒数。

生成高斯掩膜(小数形式)
1. 确定要生产的掩模尺寸wsize，设定高斯分布的标准差
2. 生成过程，根据模板大小，找模板中心位置center
3. 遍历，根据高斯分布函数，算模板中每个系数的值
4. 模板的每个系数/(除以)所有系数之和。得小数形式模板。

$\sigma$的意义及选取
- 高斯过滤器模板的生成最重要的参数：高斯分布的标准差$\sigma$。
- 标准差代表着数据的离散程度。若$\sigma$较小，那么生成的模板的中心系数较大，而周围的系数较小，对图像的平滑效果就不是很明显；反之，$\sigma$较大，则生成的模板的各个系数相差就不是很大，比较类似均值的模板，对图像的平滑效果就比较明显。

高斯分布的概率分布密度图：

结论：
- $\sigma$越小，分布越瘦高。$\sigma$越大，分布越矮胖。
- $\sigma$越大，分布越分散。各部分比重差别不大，于是生成的模板个元素值差别不大，类似于平均模板。
- $\sigma$越小，分布越集中，中间部分所占比重远远高于其他部分，反映到高斯模板上就是中心元素值远远大于其他元素值，于是自然而然就相当于中间值得点运算。

4.3 代码实践

图像平滑

使用各种低通滤镜模糊图像

import cv2 as cv
import numpy as np
from matplotlib import pyplot as plt
img = cv.imread('gp.jpg')

4.3.1 2D卷积（图像过滤）

• 用函数cv.filter2D来将内核与图像进行卷积。
  - 操作如下:保持这个内核在一个像素上，将所有低于这个内核的25个像素相加，取其平均值，然后用新的平均值替换中心像素。它将对图像中的所有像素继续此操作。

kernel = np.ones((5,5),np.float32)/25
dst = cv.filter2D(img,-1,kernel)
plt.subplot(121),plt.imshow(img),plt.title('Original')
plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(dst),plt.title('Averaging')
plt.xticks([]), plt.yticks([])
plt.show()

4.3.2 图像模糊（图像平滑）

通过将图像与低通滤波器内核进行卷积来实现图像模糊。这对于消除噪音很有用。它实际上从图像中消除了高频部分（例如噪声，边缘）。因此，在此操作中边缘有些模糊。（有一些模糊技术也可以不模糊边缘）。

1. 平均

这是通过将图像与归一化框滤镜进行卷积来完成的。它仅获取内核区域下所有像素的平均值，并替换中心元素。这是通过功能**cv.blur()或cv.boxFilter()**完成的。检查文档以获取有关内核的更多详细信息。我们应该指定内核的宽度和高度。

如果不想使用标准化的框式过滤器，请使用cv.boxFilter()。将参数normalize = False传递给函数。

blur = cv.blur(img,(5,5))
plt.subplot(121),plt.imshow(img),plt.title('Original')
plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(blur),plt.title('Blurred')
plt.xticks([]), plt.yticks([])
plt.show()

2. 高斯模糊

• 在这种情况下，代替盒式滤波器，使用了高斯核。这是通过功能**cv.GaussianBlur()**完成的。
  - 我们应指定内核的宽度和高度，该宽度和高度应为正数和奇数。我们还应指定X和Y方向的标准偏差，分别为sigmaX和sigmaY。
  - 如果仅指定sigmaX，则将sigmaY与sigmaX相同。如果两个都为零，则根据内核大小进行计算。高斯模糊对于从图像中去除高斯噪声非常有效。

如果需要，可以使用函数**cv.getGaussianKernel()**创建高斯内核。

blur = cv.GaussianBlur(img,(5,5),0) #相比于上面的代码，仅修改了此处
plt.subplot(121),plt.imshow(img),plt.title('Original')
plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(blur),plt.title('Blurred')
plt.xticks([]), plt.yticks([])
plt.show()

3.中位模糊

函数**cv.medianBlur()**提取内核区域下所有像素的中值，并将中心元素替换为该中值。这对于消除图像中的椒盐噪声非常有效。有趣的是，在上述过滤器中，中心元素是新计算的值，该值可以是图像中的像素值或新值。但是在中值模糊中，中心元素总是被图像中的某些像素值代替。有效降低噪音。其内核大小应为正奇数整数。

在这里仅向原始图像添加了50％的噪声并应用了中值模糊。

median = cv.medianBlur(img,5) 
plt.subplot(121),plt.imshow(img),plt.title('Original')
plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(median),plt.title('Blurred')
plt.xticks([]), plt.yticks([])
plt.show()

4.双边滤波

cv.bilateralFilter() 在去除噪声的同时保持边缘清晰锐利非常有效。但是，与其他过滤器相比，该操作速度较慢。我们已经看到，高斯滤波器采用像素周围的邻域并找到其高斯加权平均值。高斯滤波器仅是空间的函数，也就是说，滤波时会考虑附近的像素。它不考虑像素是否具有几乎相同的强度。它不考虑像素是否是边缘像素。因此它也模糊了边缘，这是我们不想做的。

双边滤波器在空间中也采用高斯滤波器，但是又有一个高斯滤波器，它是像素差的函数。空间的高斯函数确保仅考虑附近像素的模糊，而强度差的高斯函数确保仅考虑强度与中心像素相似的那些像素的模糊。由于边缘的像素强度变化较大，因此可以保留边缘。

blur = cv.bilateralFilter(img,9,75,75)
plt.subplot(121),plt.imshow(img),plt.title('Original')
plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(blur),plt.title('Blurred')
plt.xticks([]), plt.yticks([])
plt.show()

4.4 参考资料

1. DataWhale:https://github.com/datawhalechina/team-learning/blob/master/%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%89%E5%9F%BA%E7%A1%80%EF%BC%9A%E5%9B%BE%E5%83%8F%E5%A4%84%E7%90%86%EF%BC%88%E4%B8%8A%EF%BC%89/Task04%20%E5%9B%BE%E5%83%8F%E6%BB%A4%E6%B3%A2.md

2. http://www.woshicver.com/FifthSection/4_4_%E5%9B%BE%E5%83%8F%E5%B9%B3%E6%BB%91/

---

关于Datawhale

Datawhale是一个专注于数据科学与AI领域的开源组织，汇集了众多领域院校和知名企业的优秀学习者，聚合了一群有开源精神和探索精神的团队成员。Datawhale以“for the learner，和学习者一起成长”为愿景，鼓励真实地展现自我、开放包容、互信互助、敢于试错和勇于担当。同时Datawhale 用开源的理念去探索开源内容、开源学习和开源方案，赋能人才培养，助力人才成长，建立起人与人，人与知识，人与企业和人与未来的联结。