前面讲解了一些图像的基本理论以及操作,这一张将聚焦与图像的滤波操作。
解释:
图像卷积是一种在图像处理中广泛使用的操作。其基本思想是在图像的每个像素点上,以该点为中心选择一个固定大小的滤波器模板(通常是一个矩阵),并将该滤波器与该像素点及其相邻像素点进行卷积运算,生成一个新的像素值。通过将该滤波器模板与整张图像进行卷积操作,我们可以对图像进行一些线性操作,例如模糊、锐化、边缘检测等。
“卷积”这个术语最初是从数学领域中引入到信号和图像处理领域的。在数学中,卷积是两个函数之间的一种数学运算,它在函数之间进行加权平均的积分运算,可以用来描述信号在系统中的传递和变形过程。在信号和图像处理中,卷积操作的本质是一种加权平均的过程,它考虑不同像素对卷积结果的贡献程度,从而实现一些常见的图像处理操作。
OpenCV中的一个函数----cv2.filter2D
,可用于实现这种卷积运算操作。
cv2.filter2D
函数的调用格式如下:
cv2.filter2D(src, ddepth, kernel, dst=None, anchor=None, borderType=None)
函数的参数解释如下:
src
:需要执行卷积操作的输入图像,可以是单通道或多通道图像。ddepth
:输出图像的深度(即数据类型),通常设置为-1
,表示和输入图像的深度相同。kernel
:定义卷积操作的核,可以是任意大小的数组。dst
:卷积操作的输出图像,可以选择是否使用。anchor
:表示卷积核的锚点,通常设置为(-1, -1)
,表示锚点位于核的中心。borderType
:处理边界问题的方法,默认为cv2.BORDER_DEFAULT
,表示默认使用边界反射。其它可选值包括cv2.BORDER_CONSTANT
、cv2.BORDER_REPLICATE
等。注:边界像素周围可能不够卷积核的大小,因此边界需要进行边界扩展,这也就是filter2D中设置borderType参数的原因。
作用:
高斯噪声是一种线性加性噪声,通常表示为服从高斯分布(正态分布)的随机变量的噪声。高斯噪声在图像处理中非常常见,特别是在图像传感器、摄像头、图像压缩等过程中,由于各种原因(如热噪声、传感器噪声、电子噪声、压缩算法噪声等),会产生随机干扰信号,从而引入高斯噪声。
椒盐噪声是一种常用的数字图像噪声模型,它是指在一幅图像中将一些像素点随机地变成纯黑色或纯白色。这种噪声通常是由于图像采集或传输中的信号干扰引起的,也可以是为了模拟真实世界中的图像失真而添加的。椒盐噪声会破坏图像的细节和纹理,导致图像质量下降,并使图像的分析和处理变得更为困难。
# 方盒滤波
# normalize:正交化,一般都设置为 True,此时等同于均值滤波
cv2.boxFilter(src, ddepth, kernelSize:tuple[, dst[, anchor[, normalize[, borderType]]]]) -> dst
# 均值滤波
cv2.blur(src, kernelSize:tuple[, dst[, anchor[, borderType]]]) -> dst
cv2.medianBlur(src, kernelSize:int[, dst]) -> dst
根据本科期间所学习的概率论可知,高斯分布是一种连续型的分布,具有概率密度函数,包括一维以及二维高斯分布:
为啥需要整数的高斯模板我不太清楚。
手动实现高斯滤波:
import numpy as np
import cv2
def naive_gaussian_blur(img, kernel_size, sigma):
half_kernel_size = kernel_size // 2
kernel = np.zeros((kernel_size, kernel_size), dtype=np.float32)
constant = 1 / (2 * np.pi * sigma**2)
for i in range(-half_kernel_size, half_kernel_size + 1): #-2到2
for j in range(-half_kernel_size, half_kernel_size + 1):
kernel[i + half_kernel_size, j + half_kernel_size] = constant * np.exp(
-(i**2 + j**2) / (2 * sigma**2)
)
kernel /= kernel.sum() #获取概率值
output = np.zeros_like(img, dtype=np.float32)
for x in range(half_kernel_size, img.shape[0] - half_kernel_size):
for y in range(half_kernel_size, img.shape[1] - half_kernel_size):
output[x, y] = np.sum(
img[
x - half_kernel_size : x + half_kernel_size + 1,
y - half_kernel_size : y + half_kernel_size + 1,
]
* kernel
)
output = np.clip(output, 0, 255).astype(np.uint8)
return output
img = cv2.imread("F:/MyOpenCV/ai.jpg", cv2.IMREAD_GRAYSCALE)
img = cv2.resize(img, (0, 0), fx=0.3, fy=0.3, interpolation=cv2.INTER_LINEAR)
blurred_img = naive_gaussian_blur(img, kernel_size=5, sigma=2)
cv2.imshow("Original Image", img)
cv2.imshow("Blurred Image", blurred_img)
cv2.waitKey(0)
cv2.destroyAllWindows()
OpenCV高斯滤波接口:
# sigmaX :x 的标准差,不指定的话,根据 kernelSize 进行计算
# sigmaY :y 的标准差,默认等于 sigmaX
cv2.GaussianBlur(src, kernelSize:tuple, sigmaX[, dst[, sigmaY[, borderType]]]) -> dst
I filtered ( x , y ) = 1 W p ∑ j ∈ Ω I j w p ( x , y ) w c ( ∣ ∣ I j − I x , y ∣ ∣ ) I_{\text{filtered}}(x,y) = \frac{1}{W_p} \sum_{j \in \Omega} I_j w_p(x,y) w_c(||I_j-I_{x,y}||) Ifiltered(x,y)=Wp1j∈Ω∑Ijwp(x,y)wc(∣∣Ij−Ix,y∣∣)
其中, I filtered ( x , y ) I_{\text{filtered}}(x,y) Ifiltered(x,y) 表示处理后的图像像素值, I j I_j Ij 表示邻域内每个像素的像素值, w p w_p wp 表示位置权重函数, w c w_c wc 表示颜色相似度权重函数, ∣ ∣ I j − I x , y ∣ ∣ ||I_j - I_{x,y}|| ∣∣Ij−Ix,y∣∣ 表示两个像素之间的差异。
位置权重函数 w p w_p wp 基于邻域内像素相对于当前像素的空间距离进行计算,通常采用高斯函数来表示,公式如下:
w p ( x , y ) = e − ∣ ∣ P j − P x , y ∣ ∣ 2 2 σ p 2 w_p(x,y) = e^{-\frac{||P_j-P_{x,y}||^2}{2\sigma_p^2}} wp(x,y)=e−2σp2∣∣Pj−Px,y∣∣2
其中, P j P_j Pj 是邻域内像素的二维位置, P x , y P_{x,y} Px,y 是当前像素点的二维位置, σ p \sigma_p σp 是距离参数(用于平衡空间距离的贡献)。
颜色相似度权重函数 w c w_c wc 是基于像素值之间的相似程度来计算的,通常也采用高斯函数来表示,公式如下:
w c ( ∣ ∣ I j − I x , y ∣ ∣ ) = e − ∣ ∣ I j − I x , y ∣ ∣ 2 2 σ c 2 w_c(||I_j-I_{x,y}||) = e^{-\frac{||I_j-I_{x,y}||^2}{2\sigma_c^2}} wc(∣∣Ij−Ix,y∣∣)=e−2σc2∣∣Ij−Ix,y∣∣2
其中, σ c \sigma_c σc 是颜色空间的参数,用于平衡颜色相似度的贡献。
总权重 W p W_p Wp 是位置权重和颜色相似度权重的乘积,即:
W p = ∑ j ∈ Ω w p ( x , y ) w c ( ∣ ∣ I j − I x , y ∣ ∣ ) W_p = \sum_{j \in \Omega} w_p(x,y) w_c(||I_j-I_{x,y}||) Wp=j∈Ω∑wp(x,y)wc(∣∣Ij−Ix,y∣∣)
将 W p W_p Wp 代入第一个公式中,即可计算出每个像素点的双边滤波值,从而得到处理后的图像。
# sigmaColor:sigma_s,高斯分布的标准差
# sigmaSpace:sigma_r,灰度距离的控制值
cv2.bilateralFilter(src, kernelSize:int, sigmaColor, sigmaSpace[, dst[, borderType]]) -> dst
功能:
原理:对图像邻近的灰度像素进行求导,斜率较大的地方,边缘的概率最大。
差分法:图像中近似求导的方法
I ′ ( x i ) = I ( x i + 1 ) − I ( x i ) x i + 1 − x i {I}'({x_{i})}=\frac{I({x_{i+1}}) - I({x_{i}})}{{x_{i+1}} - {x_{i}}} I′(xi)=xi+1−xiI(xi+1)−I(xi)
这里只对像素的一个方向进行求偏导(x方向或者y方向)。求导的实际操作仍然是卷积操作,所以对于分母差值也可以省略掉(因为对于同一个卷积核来说左右或者上下的差值是固定的) I ′ ( x i ) = I ( x i + 1 ) − I ( x i ) {I}'({x_{i})}=I({x_{i+1}}) - I({x_{i}}) I′(xi)=I(xi+1)−I(xi)
卷积核:
# ddepth:cv2.CV_, 结果图像的位深
# dx:对 x 方向求偏导
# dy:对 y 方向求偏导
# ksize:卷积核大小
cv2.Sobel(src, ddepth, dx:bool, dy:bool[, dst[, ksize:int[, scale[, delta[, borderType]]]]]) -> dst
# src中的数据取绝对值
cv2.convertScaleAbs(src[, dst[, alpha[, beta]]]) -> dst
sobel
计算,会导致像素值为负,因此输出图像的位深ddepth
应当使用有符号类型,例如cv2.CV_16S
、cv2.CV32F
等。- 颜色通道数值不存在负数,所以还需要对计算结果取绝对值
convertScaleAbs。
- 对于横向、竖向的边界要分两次进行,一起提取效果会很差,具体原因见下方。
分开提取边界原因:这是因为在对一个多元函数同时对不同自变量求导时,往往忽略了它们之间的相互影响和依存关系。具体来说,如果一个函数包含$x$和$y$两个变量,那么对$x$求导时会把$y$看作常数而忽略其对$x$的影响;同样地,对$y$求导时会把$x$看成常数而忽略其对$y$的影响。
3×3
OpenCV相关接口:
cv2.Scharr(src, ddepth, dx, dy[, dst[, scale[, delta[, borderType]]]]) -> dst
思想: Sobel算子是对像素求解一阶导数,最大值处就是边缘;对一阶导数再求导,那么零值处就是边缘,但是,由于利用差分进行计算而且像素点也是离散的,进度丢失大,这个“零”的表现其实不明显。边界显示的还是主要两边的峰值。
拉普拉斯算子定义:
▽ 2 f = ∂ 2 f ∂ x 2 + ∂ 2 f ∂ y 2 \bigtriangledown^2 f = \frac{\partial^2 f}{\partial x^2} + \frac{\partial^2 f}{\partial y^2} ▽2f=∂x2∂2f+∂y2∂2f
拉普拉斯算子能表示一个空间曲面的平坦程度,至于为什么这样定义我没有细究。
二阶差分:
f(x,y)对x右侧的一阶偏导(因为相邻点像素距离差为1,所以分母为1略去):
∂ f ∂ x = f ( x + 1 , y ) − f ( x , y ) \frac{\partial f}{\partial x} = f(x+1,y) - f(x,y) ∂x∂f=f(x+1,y)−f(x,y)
f(x,y)对x左侧的一阶偏导(同上):
∂ f ∂ x = f ( x , y ) − f ( x − 1 , y ) \frac{\partial f}{\partial x} = f(x,y) - f(x-1,y) ∂x∂f=f(x,y)−f(x−1,y)
f(x,y)对x的二阶偏导(右侧一阶减左侧一阶,分母仍然是1略去):
∂ 2 f ∂ x 2 = f ( x + 1 , y ) − f ( x , y ) − ( f ( x , y ) − f ( x − 1 , y ) ) = f ( x + 1 , y ) + f ( x − 1 , y ) − 2 f ( x , y ) \begin{aligned} \frac{\partial^2 f}{\partial x^2} &= f(x+1,y) - f(x,y) - (f(x,y) - f(x-1,y)) \\ &= f(x+1,y) + f(x-1,y) - 2f(x,y) \end{aligned} ∂x2∂2f=f(x+1,y)−f(x,y)−(f(x,y)−f(x−1,y))=f(x+1,y)+f(x−1,y)−2f(x,y)
f(x,y)对y的二阶偏导(同上):
∂ 2 f ∂ y 2 = f ( x , y + 1 ) − f ( x , y ) − ( f ( x , y ) − f ( x , y − 1 ) ) = f ( x , y + 1 ) + f ( x , y − 1 ) − 2 f ( x , y ) \begin{aligned} \frac{\partial^2 f}{\partial y^2} &= f(x,y+1) - f(x,y) - (f(x,y) - f(x,y-1)) \\ &= f(x,y+1) + f(x,y-1) - 2f(x,y) \end{aligned} ∂y2∂2f=f(x,y+1)−f(x,y)−(f(x,y)−f(x,y−1))=f(x,y+1)+f(x,y−1)−2f(x,y)
上面两式相加得到结果:
▽ 2 f = f ( x + 1 , y ) + f ( x − 1 , y ) − 2 f ( x , y ) + f ( x , y + 1 ) + f ( x , y − 1 ) − 2 f ( x , y ) = ( f ( x + 1 , y ) + f ( x − 1 , y ) + f ( x , y + 1 ) + f ( x , y − 1 ) ) − 4 f ( x , y ) \begin{aligned} \bigtriangledown^2 f &= f(x+1,y) + f(x-1,y) - 2f(x,y) + f(x,y+1) + f(x,y-1) - 2f(x,y) \\ &= (f(x+1,y) + f(x-1,y) + f(x,y+1) + f(x,y-1)) - 4f(x,y) \end{aligned} ▽2f=f(x+1,y)+f(x−1,y)−2f(x,y)+f(x,y+1)+f(x,y−1)−2f(x,y)=(f(x+1,y)+f(x−1,y)+f(x,y+1)+f(x,y−1))−4f(x,y)
写成矩阵形式:
I ′ ′ ( x i , y i ) = [ 0 1 0 1 − 4 1 0 1 0 ] ∗ [ I ( x i − 1 , y i − 1 ) I ( x i , y i − 1 ) I ( x i + 1 , y i − 1 ) I ( x i − 1 , y i ) I ( x i , y i ) I ( x i + 1 , y i ) I ( x i − 1 , y i + 1 ) I ( x i , y i + 1 ) I ( x i + 1 , y i + 1 ) ] \mathrm{I}^{\prime \prime}\left(\mathrm{x}_{\mathrm{i}}, \mathrm{y}_{\mathrm{i}}\right)=\left[\begin{array}{ccc}0 & 1 & 0 \\1 & -4 & 1 \\0 & 1 & 0\end{array}\right] *\left[\begin{array}{ccc}\mathrm{I}\left(\mathrm{x}_{\mathrm{i}-1}, \mathrm{y}_{\mathrm{i}-1}\right) & \mathrm{I}\left(\mathrm{x}_{\mathrm{i}}, \mathrm{y}_{\mathrm{i}-1}\right) & \mathrm{I}\left(\mathrm{x}_{\mathrm{i}+1}, \mathrm{y}_{\mathrm{i}-1}\right) \\\mathrm{I}\left(\mathrm{x}_{\mathrm{i}-1}, \mathrm{y}_{\mathrm{i}}\right) & \mathrm{I}\left(\mathrm{x}_{\mathrm{i}}, \mathrm{y}_{\mathrm{i}}\right) & \mathrm{I}\left(\mathrm{x}_{\mathrm{i}+1}, \mathrm{y}_{\mathrm{i}}\right) \\\mathrm{I}\left(\mathrm{x}_{\mathrm{i}-1}, \mathrm{y}_{\mathrm{i}+1}\right) & \mathrm{I}\left(\mathrm{x}_{\mathrm{i}}, \mathrm{y}_{\mathrm{i}+1}\right) & \mathrm{I}\left(\mathrm{x}_{\mathrm{i}+1}, \mathrm{y}_{\mathrm{i}+1}\right)\end{array}\right] I′′(xi,yi)= 0101−41010 ∗ I(xi−1,yi−1)I(xi−1,yi)I(xi−1,yi+1)I(xi,yi−1)I(xi,yi)I(xi,yi+1)I(xi+1,yi−1)I(xi+1,yi)I(xi+1,yi+1)
cv2.Laplacian(src, ddepth:cv2.CV_[, dst[, ksize:int[, scale[, delta[, borderType]]]]]) -> dst
图像降噪主要采用高斯滤波方式对图像进行降噪,公式描述如下,
I g = G ∗ I I_g = G * I Ig=G∗I
其中, I g I_g Ig表示高斯滤波后的像素值, G G G表示高斯滤波卷积核, I I I表示原像素。
x, y
方向的梯度:得到的每个像素强度的非局部最大值就全部舍弃掉,进行边缘预选。
有两种方法:
用来确定最终的边缘。
梯度>maxVal:认为是边界像素
梯度C
保留,B
舍弃。
判断是否连接会用到DFS或BFS的图的搜索遍历算法,只要周围点中有强边界像素则判其为连接。
# threshold1:minVal
# threshold2:maxVal
cv2.Canny(image, threshold1, threshold2[, edges[, apertureSize[, L2gradient]]]) -> edges
本章主要讲解了卷积操作的基本知识以及低通滤波和高通滤波,低通滤波就是为了消除图像的噪声,但也会让图像变的模糊;高通滤波能够检测图像的边缘,从而进行其他的判断。