(十一)OpenCV实现图像频率域滤波

1.基础

见《数字图像处理第四版》P137-P209

1.1傅里叶变换Fourier Transform

Fourier Transform由法国的一位数学家和物理学家Jean-Baptiste Joseph Fourier (1768-1830)提出，主要包括适用于周期函数的傅里叶级数(Fourier Serier)和应用于非周期函数(曲线下面积有限)的傅里叶变换。

• 傅里叶级数
  傅里叶级数是指，周期为$T$的连续变量$t$的周期信号$f(t)$,可表示为乘以适当系数的正弦函数和余弦函数之和。
  借助欧拉公式和欧拉恒等变换，
  

能将傅里叶级数表示成复数指数的形式,其形式为，

其中，系数$c_n$可表示为:$c_n=\frac{1}{T}{\int }_{-T/2}^{T/2}f(t)e^{-\frac{2\pi nt}{T}}dt,n=0,\pm 1,\pm 2,...$，$j=\sqrt{-}1$
从傅里叶级数的的公式可以看出，周期函数被分解成了使用不同频率，幅度，相角的正弦和/或余弦函数表示的形式。能够将信号从时域在频域上展开来进行分析。这正是傅里叶变换的意义，关于其形象化的描述可参考

• 连续函数的傅里叶变换
  
  非周期函数可看成周期是无穷大的函数，参考傅里叶级数中$c_n$，其频率和系数幅度之间的关系，即傅里叶变换，可表示为：
  
  $F(\mu )={\int }_{-\infty }^{\infty }f(t)e^{-j2\pi \mu t}dt$

1.2卷积定理

连续变量t的两个连续函数$f(t)$和$h(t)$的卷积的定义为：

$(f\star h)(t)={\int }_{-\infty }^{\infty }f(\tau )h(t-\tau )d\tau$


其中，$-\tau$表示对卷积核函数旋转180度，$t$是一个函数滑过另一个函数的位移，$\tau$是积分虚拟变量。上式的傅里叶变换表示为：


式中方括号内是$h(t-\tau )$的傅里叶变换，$F(h(t-\tau ))=H(\mu )e^{-j2\pi \mu \tau }$,$H(\mu )$是$h(t)$的傅里叶变换，式（5）可表示为：
式中$\bullet$表示相乘，$\zeta$表示傅里叶变换。

由上式可知，空间域中两个函数的卷积的傅里叶变换，等于频域中两个函数的傅里叶变换的乘积。反之，如果有频域中两个傅里叶变换的乘积，可以通过计算傅里叶反变换得到空间域的卷积。综上，卷积定理可以表示为:

$(f\star h)(t)\iff (F\bullet H)(\mu )$

$(f\bullet h)(t)\iff (F\star H)(\mu )$

1.3冲激函数及其取样性质

连续变量$t$在$t=0$处的单位冲激表示为$\delta t$,表示为：


冲激函数满足如下性质：

• 满足恒等式：${\int }_{-\infty }^{\infty }\delta (t)dt=1$
• 取样性质：${\int }_{-\infty }^{\infty }f(t)\delta (t-t_0)dt=f(t_0)$，取样性质只是得到$f(t)$在冲激位置$t_0$处的值。

实际对$f(t)$取样时，需要使用一系列冲激信号，以$\Delta T$为间隔进行取样，由此可定义冲击串：


上述，将$t$解释为连续时间变量,对于离散变量，冲激函数定义为：

满足的性质等效于：

• 恒等式：- 取样性质：

1.4冲激和冲激串的傅里叶变换

根据连续单变量函数傅里叶变换的定义，$\delta (t)$函数的傅里叶变换可表示为：

$\zeta \{\delta (t)\}=F(\mu )={\int }_{-\infty }^{\infty }\delta (t)e^{-j2\pi \mu t}dt={\int }_{-\infty }^{\infty }{e}^{-j2\pi \mu t}\delta (t)dt=e^{-j2\pi \mu 0}=1$

在$t=t_0$处，一个冲激的傅里叶变换为：

$\zeta \{\delta (t-t_0)\}=F(\mu )={\int }_{-\infty }^{\infty }\delta (t-t_0)e^{-j2\pi \mu t}dt={\int }_{-\infty }^{\infty }{e}^{-j2\pi \mu t}\delta (t-t_0)dt=e^{-j2\pi \mu t_0}$

为了得到离散信号，通常需要使用周期冲激串来进行采样，因此推导离散信号的傅立叶变换时需要先求得周期冲激串的傅立叶变换。

首先，由上面的定义的傅立叶变换和反变换可知，若函数$f(t)$有傅立叶变换$F(\mu )$,则函数$F(t)$的傅里叶变换为$f(-\mu )$,由此性质,冲激$\delta (t-t_0)$的傅立叶变换为$e^{-j2\pi \mu t_0}$，则$e^{-j2\pi \mu t_0}$的傅里叶变换为$\delta (-\mu -t_0)$。记$a=-t_0$,则$e^{j2\pi \mu a}$的傅立叶变换为$\delta (-\mu +a)$,对于冲激函数，除$\mu =a$外，$\delta$都为0，因此$\delta (-\mu +a)=\delta (\mu -a)$，也即$\zeta [e^{j2\pi \mu a}]=\delta (\mu -a)$。

由1.3知$S_{\Delta T}(t)$是周期为$\Delta T$的周期函数，其傅立叶级数表示为：



周期在$[-\Delta T/2，\Delta T/2]$上的积分仅包含位于原点的冲激，故$c_n$可以表示为：

$c_n=\frac{1}{\Delta T}{\int }_{-\Delta T/2}^{\Delta T/2}\delta (t)e^{-j\frac{2\pi n}{\Delta T}}dt=\frac{1}{\Delta T}{e}^0=\frac{1}{\Delta T}$

那么，傅立叶级数可表示为：
结合前述$\zeta [e^{j2\pi \mu a}]=\delta (\mu -a)$,则

$\zeta [e^{j\frac{2\pi n}{\Delta T}t}]=\delta (\mu -\frac{n}{\Delta T})$
结合和的傅里叶变换等于各分量的傅里叶变换之和，则周期冲激串的傅里叶变换为

由上式可知，周期为$\Delta T$的冲激串的傅里叶变换仍为冲激串，其周期为$\frac{1}{\Delta T}$，其周期互为反比。

1.5取样后函数的傅里叶变换和取样定理

使用冲激串取样的过程如上图所示，其数学表示为：

$\tilde{f}(t)=f(t)S_{\Delta T}(t)={\sum }_{n=-\infty }^{\infty }f(t)\delta (t-n\Delta T)$
$\tilde{f}(t)$表示取样后的函数，取样后，取样序列中任意一个取样的值$f_k$由下公式给出：

$f_k={\int }_{-\infty }^{\infty }f(t)\delta (t-k\Delta T)dt=f(k\Delta T)$

取样后函数的傅里叶变换表示：
$F(\mu )$表示连续函数$f(t)$函数的傅里叶变换，取样后的函数$\tilde{f}(t)$与$f(t)$与冲激串的乘积。由卷积定理，空间域中两个函数乘积的傅里叶变换，是频率域中两个变换的卷积。因此$\tilde{f}(t)$的傅里叶变换$\tilde{F}(\mu )$可表示为：

$\tilde{F}(\mu )=\zeta \{\tilde{f}(t)\}=\zeta \{f(t)S_{\Delta T}(t)\}=(F\star S)(\mu )$
由上面的推导可以知道冲激串的傅里叶变换为：

由一维卷积的定义，则$F(\mu )$和$S(\mu )$的卷积可以表示为：

由上述推导可以知，取样后函数$\tilde{f}(t)$的傅里叶变换$\tilde{F}(\mu )$是原函数傅里叶变换的一个无限的周期的副本序列。考虑一个带限函数的傅里叶变换示意图：

上图中，图a是函数$f(t)$的傅里叶变换$F(\mu )$,图b是函数$\tilde{f}(t)$的傅里叶变换$\tilde{F}(\mu )$，$1/\Delta T$是取样函数的取样率，从上图可以看到取样率要高到足以在各个周期之间提供有效的间隔，以保持$F(\mu )$的完整性。图c和图d分别对应的是临界取样和欠取样。

对以原点为中心的有限区间$[-{\mu }_{max},{\mu }_{max}]$外的频率值，傅里叶变换为零的函数$f(t)$称为带限函数。从上图中可知，当$\Delta T$较大时，$\tilde{F}(\mu )$会发生交叠，将不能从$\tilde{F}(\mu )$中分离完整的$F(\mu )$，即无法通过傅里叶反变换复原原信号。因此为了复原原信号，必须提高采样频率，如下图：

当$1/2\Delta T>{\mu }_{max}$时可以保证足够的间隔：$\frac{1}{\Delta T}>2{\mu }_{max}$，该式表明，如果以超过函数最高频率2倍的取样率来得到样本，那么连续带限函数就能由其样本集合复原，该结论即取样定理。

1.6由取样后的数据复原函数

定义函数$H(\mu )$为：
则$F(\mu )$为：$F(\mu )=H(\mu )\tilde{F}(\mu )$,得到$F(\mu )$后可用傅里叶反变换复原$f(t)$:
$f(t)={\int }_{-\infty }^{\infty }F(\mu )e^{j2\pi \mu t}$

由$F(\mu )=H(\mu )\tilde{F}(\mu )$可得：
$f(t)={\zeta }^{-1}\{F(\mu )\}={\zeta }^{-1}\{H(\mu )\tilde{F}(\mu )\}=h(t)\star \tilde{f}(t)$
即频率域对函数的处理等同于空间域中的卷积。

2.离散傅里叶变换（Discrete Fourier Transform)

2.1一维离散傅里叶变换

前面讨论采样定理时，求出了采样后函数$\tilde{f}(t)$的傅里叶变换$\tilde{F}(\mu )$与原函数$f(t)$的傅里叶变换$F(\mu )$之间的关系，但是并没有给出$\tilde{F}(\mu )$的表达式，这里利用冲激串的定义来求：

由$\tilde{F}(\mu ）$与$F(\mu ）$的关系，可知，$\tilde{F}(\mu ）$是周期为$1/\Delta T$的无限周期连续函数，因此表征$\tilde{F}(\mu ）$只需要一个周期。假设从$\mu =0$到$\mu =1/\Delta T$的一个周期内等间隔的取$\tilde{F}(\mu ）$的M个样本，在如下频率处取样可实现：$\mu =\frac{m}{M\Delta T},m=0,1,2,...,M-1$把$\mu$代入上面的公式中可得$\tilde{F}(\mu )$的表达式为:


已知一个由f(t)的M个样本组成的集合$\{f_m\}$时,上式给出了一个与输入样本集合的离散傅里叶变换相对应的M个复值集合$\{F_m\}$。反之，求得$\{F_m\}$时也可由傅里叶反变换求得$\{f_m\}$

在图像中通常使用$x$,$y$表示图像坐标，并使用$\mu$,$v$表示频率变量，这里的这些变量都理解成整数，则上述傅里叶变换对可表示为：

2.2二维函数的傅里叶变换：

将前述概念扩充到二维上。

二维冲激函数： $\delta (t,z)\{\begin{array}{l}=1,t=z=0\\ 0,others\end{array},且{\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }\delta (t,z)dtdz=1$

二维冲激函数的取样性质：

${\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }f(t,z)\delta (t-t_0,z-z_0)dtdz=f(t_0,z_0)$

二维连续函数的傅里叶变换对：

$F(\mu ,v)={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }f(t,z)e^{-j2\pi (\mu t+vz)}dtdz$和$f(t,z)={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }F(\mu ,v)e^{j2\pi (\mu t+vz)}d\mu dv$

二维冲激串(二维取样函数)：

二维取样定理：

$\{\begin{array}{l}\Delta T<\frac{1}{2{\mu }_{max}}\\ \Delta Z<\frac{1}{2v_{max}}\end{array}$

二维信号的混叠：

二维离散傅里叶变换对：


二维离散傅里叶变换的平移旋转和周期性：

由定义可以求得：

• 平移：

  $f(x,y)e^{j2\pi ({\mu }_{0}x/M+v_{0}y/M)}\iff F(\mu -{\mu }_0,v-v_0)$
  
  $f(x-x_0,y-y_0)\iff F(\mu -{\mu }_0,v-v_0)e^{-j2\pi (x_0\mu /M+y_{0}v/M)}$

  用所示的指数项乘以$f(x,y)$将使DFT的原点移动到$({\mu }_0,v_0)$处，用负指数乘以$F(\mu ,v)$将使$f(x,y)$的原点移动到点$f(x_0,y_0)$处。平移不影响$F(\mu ,v)$的幅度

• 旋转:

  使用极坐标：$x=rcos\theta ,y=rsin\theta ,\mu =\omega cos\phi ,v=sin\phi$,则有如下变换对：$f(r,\theta+\theta_0)\Leftrightarrow F(\omega, \varphi + \theta_0) $即，若f(x,y)旋转$\theta_0$角度，则$F(\mu,v)$也将旋转相同的角度。反之，若$F(\mu,v)$旋转某个角度，$f(x,y)$也旋转相同的角度。

• 周期性：

  同一维情况相同，二维离散傅里叶变换及其反变换在$\mu$和$v$方向是无限周期的，即：
  
  $F(\mu ,v)=F(u+k_{1}M,v)=F(\mu ,v+k_{2}N)=F(u+k_{1}M,v+k_{2}N)$
  和
  
  $f(x,y)=f(x+k_{1}M,y)=f(x,y+k_{2}N)=f(x+k_{1}M,y+k_{2}N)$

  从第一部分的分析，可发现，区间0到M-1上的变换数据由在点$M/2$处相遇的两个半周期组成，可以发现该周期内较第部分的$F(\mu )$出现在较高的频率处，不便于分析和滤波。根据上述的平移性质，
  
  $f(x)e^{j2\pi ({\mu }_{0}x/M)}\iff F(\mu -{\mu }_0)$
  该式将把数据的原点$F(0)$平移到${\mu }_0$,若另${\mu }_0=M/2$,则指数项变为$e^{j\pi x}$,因为x是整数，故根据欧拉公式，其可表示为$(-1{)}^x$,代入上式可得：
  
  $f(x)(-1{)}^x\iff F(\mu -M/2)$
  
  如下图所示。
  对于二维情况可以表示为：
  
  $f(x,y)(-1{)}^{x+y}\iff F(\mu -M/2,v-N/2)$

频谱，相谱和功率谱：

从前面的分析可知，二维DFT通常是复函数，用极坐标形式表示为：

$F(\mu ,v)=R(\mu ,v)+jI(\mu ,v)=|F(\mu ,v)|e^{j\varphi (\mu ,v)}$

傅里叶频谱：
$|F(\mu ,v)|=[R^2(\mu ,v)+I^2(\mu ,v){]}^{1/2}$

相谱：$\varphi (\mu ,v)=arctan[\frac{I(\mu ,v)}{R(\mu ,v)}]$

功率谱：$P(\mu ,v)=|F(\mu ,v){|}^2=R^2(\mu ,v)+I^2(\mu ,v)$

一个图像的频谱示意图如下图：

图A是原图像，图B是直接对原图像进行傅里叶变换得到的频谱，可以看到四个角较亮，但因为其值分散在四个角落，因此很难观察，使用前述的变换，对原函数$f(x,y)$乘以$(-1{)}^{x+y}$将其变换的中心移动到图像的中心可得图C，更便于观察分析。图D是对频谱值取对数后的结果。

2.2二维离散卷积定理

将一维离散卷积定理扩展到两个变量，可得：

二维卷积定理可表示为：

$(f\star h)(x,y)\iff (F\bullet H)(\mu ,v)$
使用卷积定理时的问题：

如果使用DFT和卷积定理来求得如下图左列相同的卷积结果时，需考虑DFT表达式中固有的周期性。

上图中左列，是根据定义使用尺寸为400的卷积核对尺寸为400的原信号进行卷积，先对卷积核函数旋转180度，再依次滑过原信号，得到图左列最后所示的卷积结果。

若使用卷积定理，则f,h都具有周期性，若根据卷积定理，先计算f和h的DFT，然后让这个变换相乘，再计算傅里叶反变换，将得到如上图右侧所示的结果，显然如此计算的卷积结果是不对的。

交叠错误很容易解决。考虑f(x)和h(x),他们分别由A个样本和B个样本组成，可证明，若在这两个函数中填充零，使他们长度P相同，则选择

$P\ge A+B-1$

可避免交叠错误。

令$f(x,y)$和$h(x,y)$分别表示大小为$AXB$像素和$CXD$像素的图像阵列.它们循环卷积中的交叠错误可通过对这两个函数填充零来避免，
$f_p(x,y)=\{\begin{array}{l}f(x,y),0\le x\le A-1和0\le y\le B-1\\ 0,A\le x\le P或B\le y\le Q\end{array}$

$h_p(x,y)=\{\begin{array}{l}h(x,y),0\le C-1和0\le y\le D-1\\ 0,C\le x\le P或D\le y\le Q\end{array}$
其中，$P\ge A+C-1$, $Q\ge B+D-1$

填充零后图像大小为$PXQ$,若两个阵列大小相同，都为$MXN$,则要求$P\ge 2M-1$和$Q\ge 2N-1$.DFT算法执行偶数大小的阵列时速度较快，因此通常选择满足上述公式的最小偶整数作为P和Q的值，若两个阵列相同，则$P=2M$和$Q=2N$

3.频率域滤波步骤

• 1）一幅大小为$MXN$的输入图像$f(x,y)$,由前述公式得到填充零后的尺寸P=2M和Q=2N

• 2)使用零填充，镜像填充或者复制填充，形成大小为$PXQ$的填充后的图像$f_P(x,y)$

• 3)根据前述二维傅里叶变换的平移性质，将$f_P(x,y)$乘以$(-1{)}^{x+y}$，使傅里叶变换位于$PXQ$大小的频率矩形的中心

• 4）计算步骤3得到的图像的DFT，即$F(\mu ,v)$

• 5）建一个实对称滤波器传递函数$H(\mu ,v)$,其大小为$PXQ$,中心在$(P/2,Q/2)$处

• 6）采用对应像素相乘得到$G(\mu ,v)=H(\mu ,v)F(\mu ,v)$,即$G(i,k)=H(i,k)F(i.k),i=0,1,2,...,M-1$和$k=0,1,2,...,N-1$

• 7）计算$G(\mu ,v)$的IDFT得到滤波后的图像(大小为PXQ)：$g_p(x,y)=\{real[{\zeta }^{-1}[G(\mu ,v)]]\}(-1{)}^{x+y}$

• 8）最后，从$g_P(x,y)$的左上象限提取一个大小为$MXN$的区域，得到与输入图像大小相同的滤波结果$g(x,y)$

4.OpenCV API

• int cv::getOptimalDFTSize ( int vecsize )
  在进行傅里叶变换时，需要对原图像进行扩充以提高处理速度，该方法正是为了获取满足最优处理速度的最小扩充
• void cv::copyMakeBorder ( InputArray src, OutputArray dst, int top, int bottom, int left, int right, int borderType, const Scalar & value = Scalar() )对图像进行扩充，可设置上下左右的扩充大小和类型
• void cv::merge ( const Mat * mv, size_t count, OutputArray dst )将$Mat$数组mv合并成count channel的dst，与split刚好相反
• void cv::dft ( InputArray src, OutputArray dst, int flags = 0, int nonzeroRows = 0 )执行1d或2d离散傅里叶变换
• void cv::magnitude ( InputArray x, InputArray y, OutputArray magnitude )计算$x$和$y$的模，$dst(I)=\sqrt{x(I{)}^2+y(I{)}^2)}$

示例:

// https://docs.opencv.org/4.x/d8/d01/tutorial_discrete_fourier_transform.html
#include "opencv2/core.hpp"
#include "opencv2/imgproc.hpp"
#include "opencv2/imgcodecs.hpp"
#include "opencv2/highgui.hpp"

#include 

using namespace cv;
using namespace std;

static void help(char ** argv)
{
    cout << endl
        <<  "This program demonstrated the use of the discrete Fourier transform (DFT). " << endl
        <<  "The dft of an image is taken and it's power spectrum is displayed."  << endl << endl
        <<  "Usage:"                                                                      << endl
        << argv[0] << " [image_name -- default lena.jpg]" << endl << endl;
}

int main(int argc, char ** argv)
{
    help(argv);

    const char* filename = argc >=2 ? argv[1] : "lena.jpg";

    Mat I = imread( samples::findFile( filename ), IMREAD_GRAYSCALE);
    if( I.empty()){
        cout << "Error opening image" << endl;
        return EXIT_FAILURE;
    }

    //! [expand]
    Mat padded;                            //expand input image to optimal size
    int m = getOptimalDFTSize( I.rows );
    int n = getOptimalDFTSize( I.cols ); // on the border add zero values
    copyMakeBorder(I, padded, 0, m - I.rows, 0, n - I.cols, BORDER_CONSTANT, Scalar::all(0));
    //! [expand]

    //! [complex_and_real]
    Mat planes[] = {Mat_<float>(padded), Mat::zeros(padded.size(), CV_32F)};
    Mat complexI;
    merge(planes, 2, complexI);         // Add to the expanded another plane with zeros
    //! [complex_and_real]

    //! [dft]
    dft(complexI, complexI);            // this way the result may fit in the source matrix
    //! [dft]

    // compute the magnitude and switch to logarithmic scale
    // => log(1 + sqrt(Re(DFT(I))^2 + Im(DFT(I))^2))
    //! [magnitude]
    split(complexI, planes);                   // planes[0] = Re(DFT(I), planes[1] = Im(DFT(I))
    magnitude(planes[0], planes[1], planes[0]);// planes[0] = magnitude
    Mat magI = planes[0];
    //! [magnitude]

    //! [log]
    magI += Scalar::all(1);                    // switch to logarithmic scale
    log(magI, magI);
    //! [log]

    //! [crop_rearrange]
    // crop the spectrum, if it has an odd number of rows or columns
    magI = magI(Rect(0, 0, magI.cols & -2, magI.rows & -2));

    // rearrange the quadrants of Fourier image  so that the origin is at the image center
    int cx = magI.cols/2;
    int cy = magI.rows/2;

    Mat q0(magI, Rect(0, 0, cx, cy));   // Top-Left - Create a ROI per quadrant
    Mat q1(magI, Rect(cx, 0, cx, cy));  // Top-Right
    Mat q2(magI, Rect(0, cy, cx, cy));  // Bottom-Left
    Mat q3(magI, Rect(cx, cy, cx, cy)); // Bottom-Right

    Mat tmp;                           // swap quadrants (Top-Left with Bottom-Right)
    q0.copyTo(tmp);
    q3.copyTo(q0);
    tmp.copyTo(q3);

    q1.copyTo(tmp);                    // swap quadrant (Top-Right with Bottom-Left)
    q2.copyTo(q1);
    tmp.copyTo(q2);
    //! [crop_rearrange]

    //! [normalize]
    normalize(magI, magI, 0, 1, NORM_MINMAX); // Transform the matrix with float values into a
                                            // viewable image form (float between values 0 and 1).
    //! [normalize]
    imshow("Input Image"       , I   );    // Show the result
    imshow("spectrum magnitude", magI);
    waitKey();

    return EXIT_SUCCESS;
}

结果：

REF:

1.https://zhuanlan.zhihu.com/p/351173878
2.https://zhuanlan.zhihu.com/p/19763358
3.https://zhuanlan.zhihu.com/p/31371519
4.https://docs.opencv.org/4.x/d8/d01/tutorial_discrete_fourier_transform.html
5.https://www.cnblogs.com/HL-space/p/10546602.html