傅里叶变换+频域滤波

这个博客记得看看

cv2.imread()基本参数介绍

Mat cv::imread(const String & filename, int flags = IMREAD_COLOR)	
retval = cv.imread(filename[, flags])
# ilename：需要打开图片的路径，可以是绝对路径或者相对路径，路径中不能出现中文
# flag：图像的通道和色彩信息（默认值为1）
# flag = -1,   8位深度，原通道
# flag = 0，   8位深度，1通道
# flag = 1，   8位深度，3通道
# flag = 2，   原深度， 1通道
# flag = 3，   原深度， 3通道
# flag = 4，   8位深度，3通道 

参考

OpenCV官方文档

傅里叶变换

时域图像，频域图像
正常傅里叶变换后不做任何处理(不经过平移处理)的话应该是四角亮，中间暗
频域图像中亮的为低频信息，暗的为高频信息
自然图像一般都是低频信息多于高频信息

什么是频域

越往里面频率越来越高

振幅关于频域的函数

傅里叶变换的由来

傅里叶级数

对于任何以 $2\pi$ 为周期的函数，都可以由三角函数来拟合？？
$$f(t)=\frac{a_0}{2}+\sum _{n=1}^{+\infty }\left(a_n\cos nt+b_n\sin nt\right)$$

三角函数系正交性

$$\begin{array}{l}{\int }_{-\pi }^{+\pi }\sin kx\cos nxdx=0\\ {\int }_{-\pi }^{+\pi }\sin kx\sin nxdx=\{\begin{array}{l}0,k\ne n\\ \pi ,k=n\ne 0\end{array}\\ {\int }_{-\pi }^{+\pi }\cos kx\cos nxdx=\{\begin{array}{l}0,k\ne n\\ \pi ,k=n\ne 0\end{array}\end{array}$$

正交性的证明：

$$\begin{gathered} 1):{\int }_{-\pi }^{+\pi }\sin kx\cos nxdx=\frac{1}{2}{\int }_{-\pi }^{+\pi }[\sin (k+n)x+\sin (k-n)x]dx(积化和差) \\ 当k\ne n时,上式=-\frac{1}{2}{\left[\frac{\cos (k+n)x}{k+n}+\frac{\cos (k-n)x}{k-n}\right]}_{-n}^{+n}=0 \\ 当k=n时,上式={\int }_{-\pi }^{+\pi }\sin kx\cos nxdx=\frac{1}{2}{\int }_{-\pi }^{+\pi }\sin 2kxdx=0 \\ 2):{\int }_{-\pi }^{+\pi }\sin kx\sin nxdx=\frac{1}{2}{\int }_{-\pi }^{+\pi }[\cos (k-n)x-\cos (k+n)x]dx(积化和差) \\ 当k\ne n时，上式=\frac{1}{2}{\left[\frac{\sin (k-n)x}{k-n}-\frac{\sin (k+n)x}{k+n}\right]}_{-\pi }^{+\pi }=0 \\ 当k=n\ne 0时,上式=\frac{1}{2}{\int }_{-\pi }^{+\pi }(1-\cos 2kx)dx=\pi \end{gathered}$$

对傅里叶级数左右两边在$-\pi \sim \pi$上积分：
$${\int }_{-\pi }^{+\pi }f(t)dt=\frac{a_0}{2}{\int }_{-\pi }^{+\pi }dt+\sum _{n=1}^{+\infty }\left(a_n{\int }_{-\pi }^{+\pi }\cos ntdt+b_n{\int }_{-\pi }^{+\pi }\sin ntdt\right)$$
由三角函数的正交性，可得后面的一串求和为0：
$$a_0=\frac{1}{\pi }{\int }_{-\pi }^{\pi }f(t)dt$$
同理，在原式左右两端乘以$coskt$再在$-\pi \sim +\pi$上积分：
$${\int }_{-\pi }^{+\pi }f(t)\cos ktdt=\frac{a_0}{2}{\int }_{-\pi }^{+\pi }\cos ktdt+\sum _{n=1}^{+\infty }\left(a_n{\int }_{-\pi }^{+\pi }\cos kt\cos ntdt+b_n{\int }_{-\pi }^{+\pi }coskt\sin ntdt\right)$$
由三角函数系正交性得：
$${\int }_{-\pi }^{+\pi }f(t)\cos ktdt=\sum _{n=1}^{+\infty }{a}_n{\int }_{-\pi }^{+\pi }\cos kt\cos ntdt=a_k\pi$$
即： $$a_k=\frac{1}{\pi }{\int }_{-\pi }^{+\pi }f(t)\cos ktdt$$
同理：$$b_k=\frac{1}{\pi }{\int }_{-\pi }^{+\pi }f(t)\sin ktdt$$
已知傅里叶级数$f(t)=\frac{a_0}{2}+{\sum }_{n=1}^{+\infty }\left(a_n\cos nt+b_n\sin nt\right)$ $T=2\pi$

为了使其更有一般性，而不是局限于$T=2\pi$

令：$\phi (t)=f\left(\frac{\pi }{l}t\right)=\frac{a_0}{2}+{\sum }_{n=1}^{+\infty }\left(a_n\cos \frac{n\pi }{l}t+b_n\sin \frac{n\pi }{l}t\right)T=2l$
即它可以以任意实数 $2l$ 为周期
其中：
$$a_n=\frac{1}{l}{\int }_{-l}^{+l}f(t)\cos \frac{n\pi }{l}tdt,n=0,1,2,\mathrm{3...}$$
$$b_n=\frac{1}{l}{\int }_{-l}^{+l}f(t)\sin \frac{n\pi }{l}tdt,n=1,2,\mathrm{3...}$$

由欧拉公式 $e^{j\theta }=\cos \theta +j\sin \theta$ ($e^{-j\theta }=\cos \theta -j\sin \theta$)得：
对$\cos \theta$进行麦克劳林展开
对$\sin \theta$进行麦克劳林展开
对$e^{j\theta }$进行麦克劳林展开比较等式两端会发现左右相等，其中 $j$ 为虚数单位，即$j^2=-1$

$\cos \omega t=\frac{1}{2}{e}^{j\omega t}+\frac{1}{2}{e}^{-j\omega t}\sin \omega t=j(\frac{1}{2}{e}^{-j\omega t}-\frac{1}{2}{e}^{j\omega t})$

带入$\phi (t)$得：

$$\begin{gathered} \phi (t)=\frac{a_0}{2}+\sum _{n=1}^{+\infty }\left[\frac{a_n}{2}\left(e^{j\frac{n\pi }{l}t}+e^{-j\frac{n\pi }{l}t}\right)-\frac{j{b}_n}{2}\left(e^{j\frac{n\pi }{l}t}-e^{-j\frac{n\pi }{l}t}\right)\right] \\ =\frac{a_0}{2}+\sum _{n=1}^{+\infty }\left[\frac{a_n-j{b}_n}{2}.e^{j\frac{n\pi }{l}t}+\frac{a_n+j{b}_n}{2}.e^{-j\frac{n\pi }{l}t}\right] \end{gathered}$$

令 $c_0=\frac{a_0}{2},c_n=\frac{a_n-j{b}_n}{2},c_{-n}=\frac{a_n+j{b}_n}{2}$

则$$\phi (t)=c_0+\sum _{n=1}^{+\infty }\left[c_n.e^{j\frac{n\pi }{l}t}+c_{-n}.e^{-j\frac{n\pi }{l}t}\right]$$

由于: $$c_0=c_0.e^{j\frac{0\pi }{l}t}$$

于是：$$\phi (t)=\sum _{n=-\infty }^{+\infty }{c}_n.e^{j\frac{n\pi t}{l}}$$

其中$c_0=\frac{a_0}{2},c_n=\frac{a_n-j{b}_n}{2},c_{-n}=\frac{a_n+j{b}_n}{2}$

又因为：$$a_n=\frac{1}{l}{\int }_{-l}^{+l}f(t)\cos \frac{n\pi }{l}tdt,n=0,1,2,\mathrm{3...}$$
$$b_n=\frac{1}{l}{\int }_{-l}^{+l}f(t)\sin \frac{n\pi }{l}tdt,n=1,2,\mathrm{3...}$$

$$\{\begin{array}{l}{c}_0=\frac{a_0}{2}=\frac{1}{2l}{\int }_{-l}^{l}f(t)dt=\frac{1}{2l}{\int }_{-l}^{l}f(t)e^{-j\frac{0\pi t}{l}}dt\\ c_n=\frac{a_n-j{b}_n}{2}=\frac{1}{2}\left[\frac{1}{l}{\int }_{-l}^{l}f(t)\cos \frac{n\pi }{l}tdt-j\frac{1}{l}{\int }_{-l}^{l}f(t)\sin \frac{n\pi }{l}tdt\right]=\frac{1}{2l}{\int }_{-l}^{l}f(t)e^{-j\frac{n\pi t}{l}}dt\\ c_{-n}=\frac{a_n+j{b}_n}{2}=\frac{1}{2}\left[\frac{1}{l}{\int }_{-l}^{l}f(t)\cos \frac{n\pi }{l}tdt+j\frac{1}{l}{\int }_{-l}^{l}f(t)\sin \frac{n\pi }{l}tdt\right]=\frac{1}{2l}{\int }_{-l}^{l}f(t)e^{\frac{n\pi \pi t}{l}}dt\end{array}$$
综上，
$$c_n=\frac{1}{2l}{\int }_{-l}^{+l}f(t)e^{-j\frac{n\pi t}{l}}dt,n=0,\pm 1,\pm 2,\dots$$

由上$\phi (t)={\sum }_{n=-\infty }^{+\infty }{c}_n.e^{j\frac{n\pi t}{l}}$，$c_n=\frac{1}{2l}{\int }_{-l}^{+l}f(\omega )e^{-j\frac{n\pi \omega }{l}}d\omega ,n=0,\pm 1,\pm 2,\dots$

将$c_n$带入$\phi (t)$得：
$$\phi (t)=\sum _{n=-\infty }^{+\infty }\frac{1}{2l}{\int }_{-l}^{l}f(\omega )e^{-j\frac{n\pi \omega }{l}}d\omega \cdot e^{j\frac{n\pi t}{l}}=\sum _{n=-\infty }^{+\infty }\frac{1}{2l}{\int }_{-l}^{l}f(\omega )e^{\frac{n\pi (t-\omega )}{l}}d\omega$$

对于非周期函数，使其更具有一般性，可看做周期无穷大：
$$\begin{array}{l}f(t)={\lim }_{l\to +\infty }\phi (t)={\lim }_{l\to +\infty }{\sum }_{n=-\infty }^{+\infty }\frac{1}{2l}{\int }_{-l}^{l}f(z)e^{j\frac{n\pi (t-z)}{l}}dz\\ \\ ={\lim }_{l\to +\infty }{\sum }_{n=-\infty }^{+\infty }\frac{1}{2\pi }{\int }_{-l}^{l}f(z)e^{j\frac{n\pi (t-z)}{l}}dz\cdot \frac{\pi }{l}\end{array}$$

令: ${\omega }_n=\frac{n\pi }{l},\Delta \omega =\frac{\pi }{l}$
$$\begin{array}{l}f(t)={\lim }_{l\to +\infty }{\sum }_{n=-\infty }^{+\infty }\frac{1}{2\pi }{\int }_{-l}^{l}f(z)e^{j{\omega }_n(t-z)}dz\cdot \Delta \omega =\frac{1}{2\pi }{\int }_{-\infty }^{+\infty }\left[{\int }_{-\infty }^{+\infty }f(z)e^{j\omega (t-z)}dz\right]d\omega \end{array}$$
上面得到了一个二重的反常积分

$$\begin{array}{l}f(t)=\frac{1}{2\pi }{\int }_{-\infty }^{+\infty }\left[{\int }_{-\infty }^{+\infty }f(z)e^{j\omega (t-z)}dz\right]d\omega \\ =\frac{1}{2\pi }{\int }_{-\infty }^{+\infty }\left[{\int }_{-\infty }^{+\infty }f(z)e^{-j\omega z}dz\right]e^{j\omega t}d\omega \end{array}$$
令：$F(\omega )={\int }_{-\infty }^{+\infty }f(t)e^{-j\omega t}dt$频域

则：$f(t)=\frac{1}{2\pi }{\int }_{-\infty }^{+\infty }F(\omega )e^{j\omega t}d\omega$时域

这就是傅里叶变换对

傅里叶变换算法 DFT, FFT

DFT：Discrete Fourier Transform
FFT：Fast Fourier Transform

计算机智能处理离散数据，故对连续的傅里叶变换对：
$F(\omega )={\int }_{-\infty }^{+\infty }f(t)e^{-j\omega t}dt，$$f(t)=\frac{1}{2\pi }{\int }_{-\infty }^{+\infty }F(\omega )e^{j\omega t}d\omega$

做$N$点等距采样得离散变换对：
$$F(u)=\sum _{x=0}^{N-1}f(x)e^{-j\frac{2\pi }{N}xu}f(x)=\frac{1}{N}\sum _{u=0}^{N-1}F(u)e^{j\frac{2\pi }{N}xu}$$

$\omega =\frac{2\pi u}{N}$，$u$是频率，$T=2\pi u,\omega =\frac{T}{N}$
以上为一元函数的情况

扩展到二元函数：
$$F(u,v)=\sum _{x=0}^{M-1}\sum _{y=0}^{N-1}f(x,y)e^{-j2\pi (\frac{ux}{M}+\frac{vy}{N})},f(x,y)=\frac{1}{MN}\sum _{u=0}^{M-1}\sum _{v=0}^{N-1}F(u,v)e^{j2\pi (\frac{ux}{M}+\frac{vy}{N})}$$
以上即为DFT公式

由DFT正向变换公式:
$$\begin{array}{l}F(u,v)={\sum }_{x=0}^{M-1}{\sum }_{y=0}^{N-1}f(x,y)e^{-j2\pi \left(\frac{ux}{M}+\frac{vy}{N}\right)}\\ ={\sum }_{x=0}^{M-1}{e}^{-j2\pi \frac{ux}{M}}{\sum }_{y=0}^{N-1}f(x,y)e^{-j2\pi \frac{vy}{N}}\\ ={\sum }_{x=0}^{M-1}\left[{\sum }_{y=0}^{N-1}f(x,y)e^{-j2\pi \frac{vy}{N}}\right]e^{-j2\pi \frac{ux}{M}}\end{array}$$

由此可见，二元DFT可分为两个一元DFT的叠加。若用两个一元DFT代替二元DFT，算法复杂度由$O(M^2{N}^2)$降为$O(M^{2}N+M{N}^2)$有点像那个高斯核的卷积，一个卷积核可以拆分为两个卷积核的意思

可以先对图像进行一个方向上的离散傅里叶变换，再对所得到的图像进行另一个方向上的离散傅里叶变换， 就可以得到直接做二维的离散傅里叶变换相同的效果，这样可以降低复杂度，4次的变为3次

类似地，对反向变换公式同样适用。
通常，我们使用$$F(u-\frac{M}{2},v-\frac{N}{2})=\sum _{x=0}^{M-1}\sum _{y=0}^{N-1}(-1{)}^{x+y}f(x,y)e^{-j2\pi \left(\frac{ux}{M}+\frac{vy}{N}\right)}$$
代替原式(将低频成分移动到图像中央，好看)

相当于在每个位置乘上$(-1{)}^{x+y}$就可以把低频成分移动到图像中央

这是因为$$\begin{gathered} F(u-\frac{M}{2},v-\frac{N}{2})=\sum _{x=0}^{M-1}\sum _{y=0}^{N-1}f(x,y)e^{-j2\pi \left[\frac{(u-\frac{M}{2})x}{M}+\frac{(v-\frac{N}{2})y}{N}\right]} \\ =\sum _{x=0}^{M-1}\sum _{y=0}^{N-1}f(x,y)e^{-j2\pi (\frac{ux}{M}+\frac{vy}{N})}.e^{j\pi (x+y)} \end{gathered}$$

$e^{j\pi }=\cos \pi +j\sin \pi ,\sin \pi =0,\cos \pi =-1$
由欧拉公式有 $e^{j\pi }=-1$,于是$$F(u-\frac{M}{2},v-\frac{N}{2})=\sum _{x=0}^{M-1}\sum _{y=0}^{N-1}(-1{)}^{x+y}f(x,y)e^{-j2\pi (\frac{ux}{M}+\frac{vy}{N})}$$

还可以继续优化为FFT
下面为 基2时间抽取的FFT算法：首先，将二维DFT等效为两个一维DFT的叠加。此时时间复杂度为$O(M^{2}N+M{N}^2)$

对于每个一维DFT还可以进行如下优化：

根据一维的DFT公式：$F(u)={\sum }_{x=0}^{N-1}f(x)e^{-j\frac{2\pi }{N}xu}$把$F(u)$分成奇数和偶数两项

$$\begin{array}{rl}F(u)& =\sum _{x=0}^{N-1}f(x)e^{-j\frac{2\pi }{N}xu}\\ & =\sum _{x=0}^{\frac{N}{2}-1}f(2x)e^{-j\frac{2\pi }{N}2xu}+\sum _{x=0}^{\frac{N}{2}-1}f(2x+1)e^{-j\frac{2\pi }{N}(2x+1)u}\\ & =\sum _{x=0}^{\frac{N}{2}-1}f(2x)e^{-j\frac{2\pi }{N}2xu}+e^{-j\frac{2\pi }{N}u}\cdot \sum _{x=0}^{\frac{N}{2}-1}f(2x+1)e^{-j\frac{2\pi }{N}2xu}\end{array}$$

其中我们称$e^{-j\frac{2\pi }{N}2xu}$为旋转因子

可证$e^{-j\frac{2\pi }{N}(u+\frac{N}{2})}=-e^{-j\frac{2\pi }{N}u}$,于是
$$F(u)=\{\begin{array}{l}{\sum }_{x=0}^{\frac{N}{2}-1}f(2x)e^{-j\frac{2\pi }{N}2xu}+e^{-j\frac{2\pi }{N}u}\cdot {\sum }_{x=0}^{\frac{N}{2}-1}f(2x+1)e^{-j\frac{2\pi }{N}2xu},u<\frac{N}{2}\\ {\sum }_{x=0}^{\frac{N}{2}-1}f(2x)e^{-j\frac{2\pi }{N}2xu}-e^{-j\frac{2\pi }{N}\left(u-\frac{N}{2}\right)}\cdot {\sum }_{x=0}^{\frac{N}{2}-1}f(2x+1)e^{-j\frac{2\pi }{N}2xu},u>\frac{N}{2}\end{array}$$

上面两个和式是与原问题相同的子问题，但规模减半，并且$u>\frac{N}{2}$时，可用之前计算过的值，无需重复计算。使用递归实现，时间复杂度降为$O\left(N\left({\log }_{2}N\right)+M\left({\log }_{2}M\right)\right)$

灰度图

灰度图就是单通道图像，而单通道图是指维度数为2，即有h,w的图像。
而灰度就是没有色彩，RGB色彩分量全部相等（可将这点与下文的RGB图进行对比）。那么灰度图的每个像素点就只有一个值表示颜色，像素值的范围就是[0~255]。如使用RGB表示灰度为100的图像，三通道灰度图即RGB(100，100，100)，而单通道灰度图只有其中一个有值。
简而言之，灰度图就是黑白图。
图像通道在RGB色彩模式下就是指在下就是指那单独的红色R、绿色G、蓝色B部分。
与灰度图不同之处在于，该图的每个像素点都有3个值表示颜色，也叫3通道。如RGB(10，47，200).
每个点若位深度为8，即8bit，那么就是灰度图。
若位深度为24，即RGB图
参考