图像和虑波器的深入理解

目录

图像： 

YUV格式有两大类：

滤波器的工作原理：

均值滤波器：

高斯滤波器：

双边滤波器：

高频与低频区分：

高通滤波器：

傅里叶变换：

低通滤波器：

小结： 

---

 

图像： 

图像本身可以看做是一个二维信号，其中像素点的灰度值的高低可以代表信号的强弱；其中高低频的含义为：高频：图像中灰度变化剧烈的点，一般是轮廓（边缘）或者是噪声。低频：图像中平坦的，灰度变化不大的点，一般占据了图像中的大部分区域。

YUV，是指亮度参量与色度参量分开表示的像素格式。其中“Y”代表明亮度（Luminance或者Luma），即灰度值；而“U”和“V”表示的则是色度（Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。

 

YUV格式有两大类：

平面格式（planar formats） ：

对于planar的YUV格式，先连续存储所有像素点的Y，紧接着存储所有像素点的U，随后是所有像素点的V，如 YYYY YYYY UU VV。

紧缩格式（packed formats）：

对于packed的YUV格式，每个像素点的Y,U,V是连续交替存储的，如YUV YUV YUV YUV，这种排列方式跟 RGB 很类似。YUV根据U和V采样数目的不同，分为如YUV4:4:4、YUV4:2:2和YUV4:2:0等。巧妙的是，YUV不像RGB那样要求三个独立的视频信号同时传输，它没有UV信息一样能够显示完整的图像，只不过是黑白的。因此用YUV方式传送占用极少的频宽，而且也能很好的保留独立的灰度值信息。

滤波器（Filter）：是根据原有图像的某个像素周围的像素来确定新的像素值，其主要作用是消除噪声，即图像中的不合理的像素点。

滤波器的工作原理：

滤波器会先用一个固定大小的矩阵（滤波器的核）完整的扫过原图片得到新的图像，扫描的过程称为卷积；这里，核其实是一个大小固定的数值矩阵，在矩阵中有一个锚点，一般位于矩阵中央，卷积的过程主要为：

① 将核的锚点放置在特定位置的像素上，同时，让核的其他值与该像素邻域的各像素重合

② 将核内各值与相应的像素值相乘，并将乘积相加

③ 将结果放到锚点对应的像素上

④ 对图像所有像素重复上述过程

 

均值滤波器：

均值滤波器是图像处理中比较常见的一种平滑噪声的滤波器，其主要原理是利用某像素和周围像素相加再取平均值用以替换该像素值以达到平滑的目的。无论对于什么滤波器，给了滤波模板之后，在处理卷积时，都要进行归一化，表明该像素滤波后的取值取决于与周围像素的权重。为了与高斯滤波器和双边滤波器比较，均值滤波器的含义也可以理解为处理某一像素的滤波取值取决于周围每一个像素的0.11倍权重，无论一幅图像的边缘和平坦区，对任一像素都是取其与周围像素的0.11倍权重。

 高斯滤波器：

使用高斯滤波器进行滤波处理就是以高斯函数为卷积核函数处理，二维高斯图像为：

对于高斯公式，表示标准差，可以用于控制平滑程度：

a.越大，则图形越宽，分布越分散，尖峰越小

b.越小，则图形越窄，分布越集中，尖峰越大

采用高斯函数计算卷积模板，模板的每一个值都要乘以，由于最后要进行归一化，所以这前面这个系数可以省略。

从卷积模板可以得出高斯滤波的像素取值也来源于其与周围像素的权重比，中心的权重大于上下左右的权重，再大于四周像素的权重。得出结论与均值滤波相比，差异点：高斯滤波器的模板系数则随着距离模板中心的增大而减小，所以高斯滤波器相比于均值滤波器对图像个模糊程度较小；相同点：对于图像的边缘和平坦区都是一样的处理。

 双边滤波器：

双边滤波器是保留边缘且平滑平坦区的滤波去噪，在边缘和平坦区采用的处理方式不同；双边滤波器和均值滤波、高斯滤波相同点是它也是一种加权平均，但是它是一种非线性滤波。双边滤波器公式相对来说比较复杂，它不仅由空间距离决定也受像素值差异大小决定，由于该卷积核受图像的不同区域核也不同，直接采用公式直接计算像素点，话不多说，直接上公式：

 i,j表示计算的这一个像素点的位置，k,l为周围像素位置，g(i,j)为卷积后得到的像素值，f(k,l)周围像素值，这里主要受影响的是w(i,j,k,l)；权重系数w(i,j,k,l)取决于定义域核：

和值域核： 

的乘积： 

在平坦区，像素值几乎不变的时候，值域核为1，主要取决于定义域核，就相当于高斯模糊。随着像素值的差异的增大，这时候主要受值域核的影响，根据r函数特性，像素值差异越大r就越小，那w就越小，该点在该领域像素所占权重比例就越小。可以看双边滤波器在边缘的卷积核函数类似于： 

 

所以在边缘的时候，双边滤波器的边缘取值主要是与它像素值差异不大的加权平均，可以很好的保留边缘。大家也可以从双边滤波器的原理中可以看出，对于图像中的高频噪点，双边滤波器是几乎去除不掉的，只能去除一部分低频噪点。

高频与低频区分：

在了解图像滤波器之前，先谈一下如何区分图像的高频信息和低频信息，所谓高频就是该像素点与周围像素差异较大，常见于一副图像的边缘细节和噪声等；而低频就是该像素点与周围像素差异变化不大，一般体现为图像的平坦区；

高通滤波器：

高通滤波器指的是允许高于某一阈值的频率信息通过，过滤掉低于这一阈值的频率信息，从而大大衰减低频率的一种滤波器。在图像处理中，过滤频率信息采用的是傅里叶变换，把图像从空域转为频域进行处理。

傅里叶变换：

傅里叶变换公式：

图像高H，宽W。F(u,v)表示频域图像，f(x,y)表示时域图像。u的范围为[0,H−1]，v的范围为[0,W−1]。从这个公式中可以看出频率图像某一点值和整幅图像的灰度值都有关，而且计算量非常大，之前用opencv写过这个公式的傅里叶变换，一张很小的图片就要跑很长很长时间，所以一般不会采用这种方式，而是采用快速傅里叶变换，将减少运行时间，使得这种傅里叶变化可以运用在计算机的各个方面。

运用这个公式之后，得到的频谱图，低频在四周，高频在中心，需要居中处理得到如下频谱，中心是低频，四周是高频：

如果直接使用opencv定义的傅里叶函数，其是直接完成过居中处理的；高通滤波器过滤低频信息，就是将频域上的低频信息赋值，然后再采用逆变换将频域变换为空域。这里就有多种方法，滤波模板也可以自定义，这里就举例较简单的一种，将如下图像与频谱卷积相乘，黑色为像素为0，白色为1,再进行逆变换得到高通滤波器后的图像。

逆变换后的图像，一般如下这样，图像： 

从这个结果图像可以知道，高通滤波器将低频信息过滤后就只有高频信息，高频一般是图像的边缘和噪点等。高通滤波器就是调整滤波模板，不同的滤波模板过滤的频率是不一样的，高通一般是过滤中心低频信息。知道高通滤波的过程后，低通滤波器就会很简单了。

低通滤波器：

低通滤波器是和高通滤波器正好相反，低通滤波器是允许低频信息通过，滤掉高频信息，造成的结果就是图像变模糊了，一般用于去噪，因为噪点是高频信息。简单的说，就是靠近频谱图中心的低频部分给保留，远离频谱图中心的高频部分给去除掉。但是这会影响图像的清晰度。

同理低通滤波器给一个滤波模板，将频谱中心保留，四周去掉，得到的低通滤波器后图像为如下：

可以看出图像变模糊了，根据给出的频率滤波模板的不同模糊程度也会不一样。 

小结： 

以上都是基于频率滤波，根据傅里叶变换后的频谱进行滤波，再逆变换达到滤除不同频率得到目标图像。关于高通滤波和低通滤波，除了频率滤波，也可以采取空间滤波等，如常见的均值滤波和高斯滤波也可以去除高频信息达到平滑边缘的目的；拉普拉斯算子和梯度、Sobel等可以从空间上滤除低频信息得到边缘信息，可以利用其锐化边缘等。