OpenCV傅里叶变换
傅立叶变换用于分析各种滤波器的频率特性。图像中的振幅在边缘点或噪声急剧变化。因此，可以说边缘和噪声是图像中的高频内容。如果幅度没有太大变化，则它是低频分量。
1.Numpy中的傅里叶变换
主要使用np.fft.fft2()、np.fft.fftshift()以及20*np.log(np.abs(fshift))函数来实现。
np.fft.fft2()
numpy.fft.fft2(img, s=None, axes=(-2, -1), norm=None)
参数如下：
- img：输入图像(二维数组)，即灰度图像
- s：可选参数，它决定输出数组的大小。如果它大于输入图像的大小，则在计算FFT之前用零填充输入图像。如果小于输入图像，将裁切输入图像。如果未传递任何参数，则输出数组的大小将与输入的大小相同
- axes：计算FFT的轴。如果未给出，则使用最后两个轴。轴上重复的索引表示该轴上的变换执行了多次
- norm：可选参数
- 返回值是一个复数数组
- 对于np.fft.fft()以及np.fft.fftn()函数，第一个参数分别是一维数组和n维数组，返回值均为复数数组，第二个参数同上。
np.fft.fftshift()
函数参数主要是np.fft.fft2()函数的输出，即复数数组。此函数可以将零频率分量移到频谱中心。变换之后的频谱显示范围从[0, N]变为：[-N/2,N/2-1]（N为偶数）或[-(N-1)/2,(N-1)/2]（N为奇数）。
20*np.log(np.abs(fshift))
函数参数主要是np.fft.fftshift()函数的输出，傅里叶变换得到的结果是一个复数数组，不能直接用于显示图像，要想得到频谱灰度图像，需要一个映射，把复数映射[0, 255]之间。
代码示例：
from matplotlib import pyplot as plt
import numpy as np
import cv2 as cv
img = cv.imread('C:\\Users\\dell\\Desktop\\prac files\\prac1.jpg')
img_gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
f = np.fft.fft2(img_gray)
f_shift = np.fft.fftshift(f)
f_shift_log = 20*np.log(np.abs(f_shift))
plt.subplot(1, 2, 1)
plt.imshow(img_gray, cmap = "gray")
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(1, 2, 2)
plt.imshow(f_shift_log, cmap = "gray")
plt.title('Magnitude Spectrum'), plt.xticks([]), plt.yticks([])
plt.show()
逆傅里叶变换
利用频率变换可以在频域中进行一些操作，例如高通滤波和重建图像，即找到逆DFT。需用尺寸为60x60的矩形窗口遮罩即可消除低频。然后，使用np.fft.ifftshift()应用反向移位，以使DC分量再次出现在左上角。然后使用np.ifft2()函数找到逆FFT。同样，结果将是一个复数，可以采用其实部或绝对值。
代码示例：
from matplotlib import pyplot as plt
import numpy as np
import cv2 as cv
img = cv.imread('C:\\Users\\dell\\Desktop\\prac files\\prac1.jpg')
img_gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
#傅里叶
f = np.fft.fft2(img_gray)
f_shift = np.fft.fftshift(f)
f_shift_log = 20*np.log(np.abs(f_shift))
#逆傅里叶
rows, cols = img_gray.shape
crow, ccol = rows//2 , cols//2
f_shift[crow-30:crow+31, ccol-30:ccol+31] = 0
f_ishift = np.fft.ifftshift(f_shift)
img_back = np.fft.ifft2(f_ishift)
img_back = np.real(img_back)
#显示
plt.subplot(1, 3, 1)
plt.imshow(img_gray, cmap = "gray")
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(1, 3, 2)
plt.imshow(f_shift_log, cmap = "gray")
plt.title('Magnitude Spectrum'), plt.xticks([]), plt.yticks([])
plt.subplot(1, 3, 3)
plt.imshow(img_back, cmap = "gray")
plt.title('Result in JET'), plt.xticks([]), plt.yticks([])
plt.show()
2.OpenCV中的傅里叶变换
主要使用cv.dft()函数来实现。
cv.dft(src, dst, flags, nonzeroRows)
参数如下：
- src：输入矩阵，可以为实数或者虚数，输入图像应该先转换为
np.float32 - dst：函数调用后的运算结果存在这里，其尺寸和类型取决于标识符，也就是第三个参数flags
- flags：转换的标识符，有默认值0，取值如下：
| 标识符名称 | 意义 |
|---|---|
| DFT_INVERSE | 用一维或二维逆变换代替默认的正向变换 |
| DFT_SCALE | 缩放比例标识符，输出的结果都会以 1/N进行缩放，通常会结合DFT_INVERSE一起使用 |
| DFT_ROWS | 对输入矩阵的每行进行正向或反向的变换，此标识符可以在处理多种矢量的时候用于减小资源开销，这些处理常常是三维或高维变换等复杂操作 |
| DFT_COMPLEX_OUTPUT | 进行一维或二维实数数组正变换。这样的结果虽然是复数阵列，但拥有复数的共扼对称性(CCS)，所以可以被写成一个拥有同样尺寸的实数阵列 |
| DFT_REAL_OUTPUT | 进行一维或二维复数数组反变换。这样的结果通常是一个大小相同的复矩阵。如果输入的矩阵有复数的共轭对称性（比如是一个带有DFT_COMPLEX_OUTPUT标识符的正变换结果)，便会输出实矩阵 |
- nonzeroRows：默认值为0。当此参数设为非零时，函数会假设只有输入矩阵的第一个非零行包含非零元素，或只有输出矩阵的一个非零行包含非零元素
- 返回值有两个通道，第一个通道是结果的实部，第二个通道是结果的虚部。
代码示例：
from matplotlib import pyplot as plt
import numpy as np
import cv2 as cv
img = cv.imread("C:\\Users\\dell\\Desktop\\prac files\\prac1.jpg", 0)
f = cv.dft(np.float32(img), flags = cv.DFT_COMPLEX_OUTPUT)
f_shift = np.fft.fftshift(f)
f_shift_log = 20*np.log(cv.magnitude(f_shift[:,:,0], f_shift[:,:,1]))
plt.subplot(1, 2, 1)
plt.imshow(img, cmap="gray")
plt.title("Input Image"), plt.xticks([]), plt.yticks([])
plt.subplot(1, 2, 2)
plt.imshow(f_shift_log, cmap="gray")
plt.title("Magnitude Spectrum"), plt.xticks([]), plt.yticks([])
plt.show()
其中cv.magnitude()函数用来计算二维矢量的幅值。
cv.magnitude(x, y, magnitude)
参数如下：
- x：表示矢量的浮点型X坐标值，也就是实部
- y：表示矢量的浮点型Y坐标值，也就是虚部
- magnitude：输出的幅值，它和第一个参数X有着同样的尺寸和类型
也可以使用cv.cartToPolar()函数，参数同上，此函数在单个镜头中同时返回幅值和相位。
逆傅里叶变换
删除图像中的高频内容，即将LPF应用到图像中。它实际上模糊了图像。首先创建一个高值(1)在低频部分，即我们过滤低频内容，0在高频区。
代码示例：
from matplotlib import pyplot as plt
import numpy as np
import cv2 as cv
img = cv.imread("C:\\Users\\dell\\Desktop\\prac files\\prac1.jpg", 0)
#傅里叶
f = cv.dft(np.float32(img), flags = cv.DFT_COMPLEX_OUTPUT)
f_shift = np.fft.fftshift(f)
f_shift_log = 20*np.log(cv.magnitude(f_shift[:,:,0], f_shift[:,:,1]))
#逆傅里叶
rows, cols = img.shape
crow,ccol = rows//2 , cols//2
# 首先创建一个掩码，中心正方形为1，其余全为零
mask = np.zeros((rows, cols, 2), np.uint8)
mask[crow-30:crow+30, ccol-30:ccol+30] = 1
# 应用掩码和逆DFT
fshift = f_shift*mask
f_ishift = np.fft.ifftshift(fshift)
img_back = cv.idft(f_ishift)
img_back = cv.magnitude(img_back[:,:,0],img_back[:,:,1])
#显示
plt.subplot(1, 3, 1)
plt.imshow(img, cmap="gray")
plt.title("Input Image"), plt.xticks([]), plt.yticks([])
plt.subplot(1, 3, 2)
plt.imshow(f_shift_log, cmap="gray")
plt.title("Magnitude Spectrum"), plt.xticks([]), plt.yticks([])
plt.subplot(1, 3, 3)
plt.imshow(img_back, cmap="gray")
plt.title("Result in JET"), plt.xticks([]), plt.yticks([])
plt.show()
3.DFT的性能优化
对于某些数组尺寸，DFT的计算性能较好。当数组大小为2的幂时，速度最快。对于大小为2、3和 5的乘积的数组，也可以非常有效地进行处理。如果担心代码的性能，可以在找到DFT之前将数组的大小修改为任何最佳大小(通过填充零)。对于OpenCV，必须手动填充零。但是对于Numpy，指定FFT计算的新大小，它将自动填充零。主要使用cv.getOptimalDFTSize()函数来实现，同时适用于cv.dft()和np.fft.fft2()函数。
代码示例：
from matplotlib import pyplot as plt
import numpy as np
import cv2 as cv
img = cv.imread("C:\\Users\\dell\\Desktop\\prac files\\prac1.jpg", 0)
rows, cols = img.shape
print(rows, cols)
nrows = cv.getOptimalDFTSize(rows)
ncols = cv.getOptimalDFTSize(cols)
print(nrows, ncols)
之后我们使用OpenCV对图像进行填充。
代码示例：
#填充图像方法一
nimg = np.zeros((nrows,ncols))
nimg[:rows,:cols] = img
或者
#填充图像方法二
right = ncols - cols
bottom = nrows - rows
bordertype = cv.BORDER_CONSTANT #只是为了避免PDF文件中的行中断
nimg = cv.copyMakeBorder(img,0,bottom,0,right,bordertype, value = 0)
之后再对图像’nimg’进行傅里叶变换等操作即可。
4.HPF、LPF解释
通过傅里叶变化得到的频谱图，（零频率分量即DC分量已经平移到了频谱图的中心位置）中心为低频区域，从中心往外缘扩散，越往外频率越大。HPF为高通滤波器，可以滤掉低频信号，LPF为低通滤波器，可以滤掉高频信号。以下为拉普拉斯变换的结果，可以很好的解释为什么拉普拉斯变换是高通滤波器。其余的同理。
