傅里叶变换常用于频域图像分析。对于图像来说,2D DFT 常用于寻找频域特征,一个快速算法 FFT(Fast Fourier Transform)用于计算DFT。更详细的资料请查找图像处理或者信号处理和 【参考】
。
对于正弦信号来说, X ( t ) = A sin ( 2 π f t ) X(t)=A\sin(2 \pi f t) X(t)=Asin(2πft), 我们称 f f f 为信号的频率,如果用了频率,那么可以在 f f f 获得波峰。我们可以假设图像是一个二维的信号,可以在 X X X 方向和 Y Y Y 方向进行采样。
更直观的说,对于正弦信号,如果振幅在短时间内变化如此之快,你可以说它是一个高频信号,如果变化缓慢,则为低频信号。可以将相同的想法扩展到图像,图像中的振幅在何处变化剧烈?在边缘点,或噪声。因此,我们可以说,边缘和噪声是图像中的高频内容,如果振幅没有太大变化,则为低频分量。
NumPy
中的傅里叶变换我们将了解如何用
NumPy
查找傅里叶变换。NumPy
中有一个FFT包来实现这一点,np.fft.fft2()
给我们提供了一个复数数组,第一个参数是灰度图像,第二个参数是可选的尺寸,如果大于输入,输入填充,如果小于输入,输入裁剪,默认相同。
零频率分量(DC分量)将位于左上角,如果想让它居中,那么就在两个方向上分别移动 N / 2 N/2 N/2,可以通过函数np.fft.fftshift()
完成。
可以看到有很多的白色区域在中心,也就是说有很多低频分量。
# NumPy 的 FFT
import cv2
import numpy as np
from matplotlib import pyplot as plt
# 读入图像
img = cv2.imread('assets/messi5.jpg', 0)
# fft
f = np.fft.fft2(img)
# 移动到中心
fshift = np.fft.fftshift(f)
# 幅度
magnitude_spectrum = 20*np.log(np.abs(fshift))
# 显示
plt.subplot(121), plt.imshow(img, cmap='gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(122), plt.imshow(magnitude_spectrum, cmap='gray')
plt.title('Magnitude Spectrum'), plt.xticks([]), plt.yticks([])
plt.show()
NumPy
中的傅里叶变换应用(高通滤波)# NumPy 的 FFT
import cv2
import numpy as np
from matplotlib import pyplot as plt
# 读入图像
img = cv2.imread('assets/messi5.jpg', 0)
# fft
f = np.fft.fft2(img)
# 移动到中心
fshift = np.fft.fftshift(f)
# 低频信号较多部分置0
rows, cols = img.shape
crow,ccol = rows//2 , cols//2
fshift[crow-30:crow+31, ccol-30:ccol+31] = 0
# 逆移动
f_ishift = np.fft.ifftshift(fshift)
# 逆变换
img_back = np.fft.ifft2(f_ishift)
# img_back = np.real(img_back) # 官网此处有误
img_back = np.abs(img_back)
# 显示
plt.subplot(131),plt.imshow(img, cmap = 'gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(132),plt.imshow(img_back, cmap = 'gray')
plt.title('Image after HPF'), plt.xticks([]), plt.yticks([])
plt.subplot(133),plt.imshow(img_back)
plt.title('Result in JET'), plt.xticks([]), plt.yticks([])
plt.show()
如果仔细看结果,尤其是JET图,可以发现一些人工痕迹,这种效果称为“振铃效应”,主要是由矩形窗口的滤波导致的。所以矩形窗口不能用于滤波,最好的选项是高斯窗口。
# OpenCV dft
import numpy as np
import cv2
from matplotlib import pyplot as plt
# 读入图像
img = cv2.imread('assets/messi5.jpg', 0)
# 进行 dft 运算
dft = cv2.dft(np.float32(img), flags=cv2.DFT_COMPLEX_OUTPUT)
# 移动到中心
dft_shift = np.fft.fftshift(dft)
# 计算幅度
magnitude_spectrum = 20 * \
np.log(cv2.magnitude(dft_shift[:, :, 0], dft_shift[:, :, 1]))
# 显示
plt.subplot(121), plt.imshow(img, cmap='gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(122), plt.imshow(magnitude_spectrum, cmap='gray')
plt.title('Magnitude Spectrum'), plt.xticks([]), plt.yticks([])
plt.show()
# OpenCV dft
import numpy as np
import cv2
from matplotlib import pyplot as plt
# 读入图像
img = cv2.imread('assets/messi5.jpg', 0)
# 进行 dft 运算
dft = cv2.dft(np.float32(img), flags=cv2.DFT_COMPLEX_OUTPUT)
# 移动到中心
dft_shift = np.fft.fftshift(dft)
rows, cols = img.shape
# crow,ccol = rows/2 , cols/2 # 官网此处代码也有误, 宽高除2不一定是整数
crow, ccol = rows//2, cols//2
# 建立一个mask
mask = np.zeros((rows, cols, 2), np.uint8)
mask[crow-30:crow+31, ccol-30:ccol+31] = 1
# 高频信号置零
fshift = dft_shift * mask
f_ishift = np.fft.ifftshift(fshift)
img_back = cv2.idft(f_ishift)
img_back = cv2.magnitude(img_back[:, :, 0], img_back[:, :, 1])
plt.subplot(131), plt.imshow(img, cmap='gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(132), plt.imshow(img_back, cmap='gray')
plt.title('Image After LPF'), plt.xticks([]), plt.yticks([])
plt.subplot(133), plt.imshow(img_back)
plt.title('Result in JET'), plt.xticks([]), plt.yticks([])
plt.show()
DFT 计算对某些维度的数组效果更好,当尺寸为2的幂时,速度最快。当尺寸为2、3、5的乘积依然处理更有效。所以,可以在计算DFT之前获得比较好的尺寸(图像可以补零)进行DFT计算。对于OpenCV来说,需要手动补,对于NumPy来说,自动补零。
import numpy as np
import cv2
from matplotlib import pyplot as plt
# 读入图像
img = cv2.imread('assets/messi5.jpg', 0)
rows, cols = img.shape
print("{} {}".format(rows, cols))
nrows = cv2.getOptimalDFTSize(rows)
ncols = cv2.getOptimalDFTSize(cols)
print("{} {}".format(nrows, ncols))
342 548
360 576
cv2.dft( src[, dst[, flags[, nonzeroRows]]] ) -> dst
对浮点数组执行正和逆离散傅里叶变换
- src: 输入数组,实数或复数
- dst: 输出数组,尺寸和类型取决于flag
- flags: 参数,变换的标识
- nonzeroRows: 当参数不为零时,该函数假设只有输入阵列的第一个非零行(未设置DFT_INVERSE)或只有输出阵列的第一非零行(设置DFT_REVERSE)包含非零,因此,该函数可以更有效地处理其余行并节省一些时间;该技术对于使用DFT计算阵列互相关或卷积非常有用。
cv2.dft( src[, dst[, flags[, nonzeroRows]]] ) -> dst
对浮点数组执行逆离散傅里叶变换
- src: 输入数组,实数或复数
- dst: 输出数组,尺寸和类型取决于flag
- flags: 参数,变换的标识
- nonzeroRows: 当参数不为零时,该函数假设只有输入阵列的第一个非零行(未设置DFT_INVERSE)或只有输出阵列的第一非零行(设置DFT_REVERSE)包含非零,因此,该函数可以更有效地处理其余行并节省一些时间;该技术对于使用DFT计算阵列互相关或卷积非常有用。
cv2.magnitude( x, y[, magnitude] ) -> magnitude
d s t ( I ) = x ( I ) 2 + y ( I ) 2 dst(I)=\sqrt{x(I)^2+y(I)^2} dst(I)=x(I)2+y(I)2
计算 幅度
- x: x坐标的浮点数组
- y: y坐标的浮点数组
- magnitude: 输出的幅度