离散傅里叶变换 (DFT)、快速傅里叶变换 (FFT)

离散傅里叶变换 (DFT)

离散傅里叶变换的基

• 对于周期为 $2\pi$ 的函数而言，它的傅里叶变换为
  $$\begin{array}{rl}f(t)& =\sum _{n=-\infty }^{\infty }{C}_n{e}^{int}\\ s.t.C_n& =\frac{1}{T}\left({\int }_0^{T}f(t)e^{-int}dt\right)\\ f(t)& =f(t+2\pi )\end{array}$$但在实际应用中，我们可能并不知道 $f(t)$，而是只能得到 $f(t)$ 的 $N$ 个采样点，也就是向量 $[f_0,f_1,...,f_{N-1}]=[f(0\frac{2\pi }{N}),f(1\frac{2\pi }{N}),...,f((N-1)\frac{2\pi }{N})]$ (可以假定这 $N$ 个采样点都是在同一周期内的等距离采样). 离散傅里叶变换就是通过上述向量找到傅里叶系数 $C_n$
  
• 下面用傅里叶展开写出 $f(t)$ 在采样点 $\frac{2\pi }{N}$ 的函数值
  $$\begin{array}{rl}f\left(\frac{2\pi }{N}\right)& =\cdots +C_{-2}{e}^{-2\frac{2\pi i}{N}}+C_{-1}{e}^{-1\frac{2\pi i}{N}}+C_0{e}^{0\frac{2\pi i}{N}}+C_1{e}^{1\frac{2\pi i}{N}}+C_2{e}^{2\frac{2\pi i}{N}}+\cdots +C_{N-1}{e}^{(N-1)\frac{2\pi i}{N}}+C_N{e}^{N\frac{2\pi i}{N}}+C_{N+1}{e}^{(N+1)\frac{2\pi i}{N}}+\cdots \end{array}$$注意到，$e^{k\frac{2\pi i}{N}}$ 实际上是 $k$ 的一个周期为 $N$ 的函数
  因此可以将相同的项进行合并，得到
  $$\begin{array}{rl}f\left(\frac{2\pi }{N}\right)& =\cdots +C_{-2}{e}^{-2\frac{2\pi i}{N}}+C_{-1}{e}^{-1\frac{2\pi i}{N}}+C_0{e}^{0\frac{2\pi i}{N}}+C_1{e}^{1\frac{2\pi i}{N}}+C_2{e}^{2\frac{2\pi i}{N}}+\cdots +C_{N-1}{e}^{(N-1)\frac{2\pi i}{N}}+C_N{e}^{N\frac{2\pi i}{N}}+C_{N+1}{e}^{(N+1)\frac{2\pi i}{N}}+\cdots \\ & =\left(C_0+C_N+C_{-N}+C_{2N}+C_{-2N}+\cdots \right)e^{0\frac{2\pi i}{N}}\\ & +\left(C_1+C_{N+1}+C_{-N+1}+C_{2N+1}+C_{-2N+1}\cdots \right)e^{1\frac{2\pi i}{N}}\\ & +\left(C_2+C_{N+2}+C_{-N+2}+C_{2N+2}+C_{-2N+2}\cdots \right)e^{2\frac{2\pi i}{N}}\\ & \cdots \\ & +\left(C_{N-1}+C_{2N-1}+C_{-1}+C_{3N-1}+C_{-N-1}\cdots \right)e^{(N-1)\frac{2\pi i}{N}}\end{array}$$令 $w=e^{\frac{2\pi i}{N}}$ ($w^0=w^N=1$)，则有
  $$\begin{array}{rl}f\left(\frac{2\pi }{N}\right)& =\left(C_0+C_N+C_{-N}+C_{2N}+C_{-2N}+\cdots \right)w^0\\ & +\left(C_1+C_{N+1}+C_{-N+1}+C_{2N+1}+C_{-2N+1}\cdots \right)w^1\\ & +\left(C_2+C_{N+2}+C_{-N+2}+C_{2N+2}+C_{-2N+2}\cdots \right)w^2\\ & \cdots \\ & +\left(C_{N-1}+C_{2N-1}+C_{-1}+C_{3N-1}+C_{-N-1}\cdots \right)w^{(N-1)}\end{array}$$也就是说，$f\left(\frac{2\pi }{N}\right)$ 的函数值，只需要 $N$ 个基就能得到，不需要无穷多个基，只要得到这 $N$ 个基的 $N$ 个系数即可
• 按照同样的方法可以写出 $f(t)$ 在采样点 $k\frac{2\pi }{N}$ 的函数值
  $$\begin{array}{rl}f\left(k\frac{2\pi }{N}\right)& =\sum _{n=-\infty }^{\infty }{C}_n{w}^{nk}\\ & =\left(C_0+C_N+C_{-N}+C_{2N}+C_{-2N}+\cdots \right)w^{0k}\\ & +\left(C_1+C_{N+1}+C_{-N+1}+C_{2N+1}+C_{-2N+1}\cdots \right)w^{1k}\\ & +\left(C_2+C_{N+2}+C_{-N+2}+C_{2N+2}+C_{-2N+2}\cdots \right)w^{2k}\\ & \cdots \\ & +\left(C_{N-1}+C_{2N-1}+C_{-1}+C_{3N-1}+C_{-N-1}\cdots \right)w^{(N-1)k}\end{array}$$由于 $w^k$ 的周期性，$w^{0k},...,w^{(N-1)k}$ 仍然对应着 $w^0,...,w^{N-1}$ 中的一项，因此 $f\left(k\frac{2\pi }{N}\right)$ 的函数值都只需要 $N$ 个基就能得到，基为
  $$w^k=e^{k\frac{2\pi i}{N}},k=0,1,...,N-1$$

离散傅里叶变换

• 现在我们知道，$f(t)$ 在采样点处的值 $f\left(k\frac{2\pi }{N}\right)$ 其实是 $N$ 个基的线性组合，并且函数值 $f\left(k\frac{2\pi }{N}\right)$ 和 $N$ 个基是已知的，因此我们就可以列出关于 $N$ 个系数 的 $N$ 个方程，组成线性方程组，最终就可以解出 $N$ 个系数 $$\begin{gathered} \left(C_0+C_N+C_{-N}+C_{2N}+C_{-2N}+\cdots \right), \\ \left(C_1+C_{N+1}+C_{-N+1}+C_{2N+1}+C_{-2N+1}\cdots \right), \\ ..., \\ \left(C_{N-1}+C_{2N-1}+C_{-1}+C_{3N-1}+C_{-N-1}\cdots \right) \end{gathered}$$$$\{\begin{array}{rl}& w^0\left(C_0+C_N+C_{-N}+C_{2N}+C_{-2N}+\cdots \right)+w^0\left(C_1+C_{N+1}+C_{-N+1}+C_{2N+1}+C_{-2N+1}\cdots \right)+\cdots +w^0\left(C_{N-1}+C_{2N-1}+C_{-1}+C_{3N-1}+C_{-N-1}\cdots \right)=f\left(0\right)\\ & w^0\left(C_0+C_N+C_{-N}+C_{2N}+C_{-2N}+\cdots \right)+w^1\left(C_1+C_{N+1}+C_{-N+1}+C_{2N+1}+C_{-2N+1}\cdots \right)+\cdots +w^{(N-1)}\left(C_{N-1}+C_{2N-1}+C_{-1}+C_{3N-1}+C_{-N-1}\cdots \right)=f\left(\frac{2\pi }{N}\right)\\ & \cdots \\ & w^{0k}\left(C_0+C_N+C_{-N}+C_{2N}+C_{-2N}+\cdots \right)+w^{1k}\left(C_1+C_{N+1}+C_{-N+1}+C_{2N+1}+C_{-2N+1}\cdots \right)+\cdots +w^{(N-1)k}\left(C_{N-1}+C_{2N-1}+C_{-1}+C_{3N-1}+C_{-N-1}\cdots \right)=f\left(k\frac{2\pi }{N}\right)\\ & \cdots \\ & w^{0(N-1)}\left(C_0+C_N+C_{-N}+C_{2N}+C_{-2N}+\cdots \right)+w^{1(N-1)}\left(C_1+C_{N+1}+C_{-N+1}+C_{2N+1}+C_{-2N+1}\cdots \right)+\cdots +w^{(N-1)(N-1)}\left(C_{N-1}+C_{2N-1}+C_{-1}+C_{3N-1}+C_{-N-1}\cdots \right)=f\left((N-1)\frac{2\pi }{N}\right)\end{array}$$
• 但我们想解的其实是傅里叶系数 $C_k$，因此离散傅里叶假设 $f(t)$ 的傅里叶级数里只包含 $C_0,C_1,..,C_{N-1}$ 项 (只要 $N$ 足够大，就可以非常接近原函数)，此时我们就可以写出如下线性方程组并解出 $C_0,C_1,..,C_{N-1}$：
  $$\{\begin{array}{rl}& w^0{C}_0+w^0{C}_1+\cdots +w^0{C}_{N-1}=f\left(0\right)\\ & w^0{C}_0+w^1{C}_1+\cdots +w^{(N-1)}{C}_{N-1}=f\left(\frac{2\pi }{N}\right)\\ & \cdots \\ & w^{0k}{C}_0+w^{1k}{C}_1+\cdots +w^{(N-1)k}{C}_{N-1}=f\left(k\frac{2\pi }{N}\right)\\ & \cdots \\ & w^{0(N-1)}{C}_0+w^{1(N-1)}{C}_1+\cdots +w^{(N-1)(N-1)}{C}_{N-1}=f\left((N-1)\frac{2\pi }{N}\right)\end{array}$$写成矩阵形式即为
  $$\left[\begin{array}{c}{f}_0\\ f_1\\ f_2\\ f_3\\ ⋮\\ f_{N-1}\end{array}\right]=\left[\begin{array}{cccccc}1& 1& 1& 1& \cdots & 1\\ 1& w& w^2& w^3& \cdots & w^{N-1}\\ 1& w^2& w^4& w^6& \cdots & w^{2(N-1)}\\ 1& w^3& w^6& w^9& \cdots & w^{3(N-1)}\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ 1& w^{N-1}& w^{2(N-1)}& w^{3(N-1)}& \cdots & w^{(N-1{)}^2}\end{array}\right]\left[\begin{array}{c}{C}_0\\ C_1\\ C_2\\ C_3\\ ⋮\\ C_{N-1}\end{array}\right]$$其中，由 $w=e^{\frac{2\pi i}{N}}$ 组成的 $N\times N$ 矩阵 $F_N^{\ast }$ 即为傅里叶逆变换矩阵，由 $f$ 向量到 $C$ 向量的变换即为离散傅里叶变换，由 $C$ 向量到 $f$ 向量的变换即为离散傅里叶逆变换
• 设 $F_N^{\ast }$ 的共轭转置为 $F_N$，则有
  $$F_N^{\ast }{F}_N=N{I}_N$$因此，
  $$F_N^{\ast -1}=\frac{1}{N}{F}_N$$可以将离散傅里叶变换写为
  $$\begin{gathered} \frac{1}{N}{F}_{N}f=C \\ \frac{1}{N}\left[\begin{array}{cccccc}1& 1& 1& 1& \cdots & 1\\ 1& \bar{w}& {\bar{w}}^2& {\bar{w}}^3& \cdots & {\bar{w}}^{N-1}\\ 1& {\bar{w}}^2& {\bar{w}}^4& {\bar{w}}^6& \cdots & {\bar{w}}^{2(N-1)}\\ 1& w^3& w^6& w^9& \cdots & w^{3(N-1)}\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ 1& {\bar{w}}^{N-1}& {\bar{w}}^{2(N-1)}& {\bar{w}}^{3(N-1)}& \cdots & {\bar{w}}^{(N-1{)}^2}\end{array}\right]\left[\begin{array}{c}{f}_0\\ f_1\\ f_2\\ f_3\\ ⋮\\ f_{N-1}\end{array}\right]=\left[\begin{array}{c}{C}_0\\ C_1\\ C_2\\ C_3\\ ⋮\\ C_{N-1}\end{array}\right] \end{gathered}$$其中，$\bar{w}=e^{-\frac{2\pi i}{N}}$ 为 $w$ 的共轭。设 $X[k]=N{C}_k$，$x[k]=f_k$，则有
  $$X[k]=\sum _{n=0}^{N-1}x[n]e^{-k\frac{2\pi ni}{N}}$$即为书上的 DFT 公式

---

例

• 假设周期函数为 $$\begin{array}{rl}f(t)& =1+e^{it}+e^{i2t}+e^{i3t}\end{array}$$
• 当采样 $N=4$ 个点时，可以计算得到采样点处的函数值
  $$f(0)=4f\left(1\frac{2\pi }{4}\right)=f\left(2\frac{2\pi }{4}\right)=f\left(3\frac{2\pi }{4}\right)=0$$$w=e^{\frac{2\pi i}{N}}=i$，由离散傅里叶变换可以解得 $[C_0,C_1,C_2,C_3]=[1,1,1,1]$
  $${\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& w& w^2& w^3\\ 1& w^2& w^4& w^6\\ 1& w^3& w^6& w^9\end{array}\right]}^{-1}\left[\begin{array}{l}4\\ 0\\ 0\\ 0\end{array}\right]=\left[\begin{array}{l}1\\ 1\\ 1\\ 1\end{array}\right]$$
• 当采样 $N=3$ 个点时，可以计算得到采样点处的函数值
  $$f(0)=4f\left(\frac{2\pi }{3}\right)=1f\left(2\frac{2\pi }{3}\right)=1$$$w=e^{\frac{2\pi i}{N}}=-\frac{1}{2}+\frac{\sqrt{3}}{2}i$，由离散傅里叶变换可以解得 $[C_0+C_3,C_1,C_2]=[2,1,1]$
  $${\left[\begin{array}{ccc}1& 1& 1\\ 1& w& w^2\\ 1& w^2& w^4\end{array}\right]}^{-1}\left[\begin{array}{l}4\\ 1\\ 1\end{array}\right]=\left[\begin{array}{l}2\\ 1\\ 1\end{array}\right]$$可以看出，由于采样点个数太少，我们无法解出高频系数 $C_3$，只能解出 $C_0+C_3$，也就是把高频信号当成低频信号

例

• 假设周期函数为 $$\begin{array}{rl}f(t)& =1+\cos t+\cos 2t=\frac{1}{2}{e}^{-i2t}+\frac{1}{2}{e}^{-it}+1+\frac{1}{2}{e}^{it}+\frac{1}{2}{e}^{i2t}\end{array}$$
• 当采样 $N=6$ 个点时，由离散傅里叶变换可以解得 $[C_0,C_1,C_2,C_3,C_{-2},C_{-1}]=[1,0.5,0.5,0,0.5,0.5]$
• 当采样 $N=4$ 个点时，由离散傅里叶变换可以解得 $[C_0,C_1,C_2+C_{-2},C_{-1}]=[1,0.5,1,0.5]$
• 当采样 $N=5$ 个点时，由离散傅里叶变换可以解得 $[C_0,C_1,C_2,C_{-2},C_{-1}]=[1,0.5,0.5,0.5,0.5]$

快速傅里叶变换 (FFT)

• 快速傅里叶变换就是快速计算如下矩阵乘积的算法：
  $$F_{N}f=\left[\begin{array}{cccccc}1& 1& 1& 1& \cdots & 1\\ 1& \bar{w}& {\bar{w}}^2& {\bar{w}}^3& \cdots & {\bar{w}}^{N-1}\\ 1& {\bar{w}}^2& {\bar{w}}^4& {\bar{w}}^6& \cdots & {\bar{w}}^{2(N-1)}\\ 1& w^3& w^6& w^9& \cdots & w^{3(N-1)}\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ 1& {\bar{w}}^{N-1}& {\bar{w}}^{2(N-1)}& {\bar{w}}^{3(N-1)}& \cdots & {\bar{w}}^{(N-1{)}^2}\end{array}\right]\left[\begin{array}{c}{f}_0\\ f_1\\ f_2\\ f_3\\ ⋮\\ f_{N-1}\end{array}\right]$$其中，$F_N^{\ast }\{ij\}={\bar{w}}^{ij}$，$\bar{w}=e^{-\frac{2\pi i}{N}}$
• 当计算矩阵乘积 $Ax$ 时，改变 $A$ 的列的顺序，同时改变 $x$ 中对应行的顺序，可以使得计算结果不变。因此对于 $F_{N}f$，可以把 $F_N$ 的偶数列和 $f$ 的偶数行都拿到前面得到 $F_{N}f={\tilde{F}}_N\tilde{f}$。例如，对于 $F_4$ ($\bar{w}$)，有
  $$F_4=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& \bar{w}& {\bar{w}}^2& {\bar{w}}^3\\ 1& {\bar{w}}^2& {\bar{w}}^4& {\bar{w}}^6\\ 1& {\bar{w}}^3& {\bar{w}}^6& {\bar{w}}^9\end{array}\right]$$$${\tilde{F}}_4=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& {\bar{w}}^2& \bar{w}& {\bar{w}}^3\\ 1& {\bar{w}}^4& {\bar{w}}^2& {\bar{w}}^6\\ 1& {\bar{w}}^6& {\bar{w}}^3& {\bar{w}}^9\end{array}\right]=\left[\begin{array}{cc}{F}_2& D_2{F}_2\\ F_2& -D_2{F}_2\end{array}\right]$$其中，$D_2=\left[\begin{array}{cc}1& 0\\ 0& \bar{w}\end{array}\right]$ 为对角矩阵，$N=4$ 时有 ${\bar{w}}^{k+4}={\bar{w}}^k$. 将上述结论一般化可以得到
  $$F_{2N}=\left[\begin{array}{cc}{F}_N& D_N{F}_N\\ F_N& -D_N{F}_N\end{array}\right]$$其中，
  $$D_N=\left[\begin{array}{cccc}1& & & \\ & \bar{w}& & \\ & & \ddots & \\ & & & {\bar{w}}^{N-1}\end{array}\right]$$
• 利用上述结论可以得到
  $$\begin{array}{rl}{F}_{N}f={\tilde{F}}_N\tilde{f}& =\left[\begin{array}{cc}{F}_{\frac{N}{2}}& D_{\frac{N}{2}}{F}_{\frac{N}{2}}\\ F_{\frac{N}{2}}& -D_{\frac{N}{2}}{F}_{\frac{N}{2}}\end{array}\right]\left[\begin{array}{c}{f}_0\\ f_2\\ ⋮\\ f_{N-2}\\ f_1\\ f_3\\ ⋮\\ f_{N-1}\end{array}\right]\\ & =\left[\begin{array}{cc}I& D_{\frac{N}{2}}\\ I& -D_{\frac{N}{2}}\end{array}\right]\left[\begin{array}{cc}{F}_{\frac{N}{2}}& \\ & F_{\frac{N}{2}}\end{array}\right]\left[\begin{array}{c}{f}_{even}\\ f_{odd}\end{array}\right]\\ & =\left[\begin{array}{cc}I& D_{\frac{N}{2}}\\ I& -D_{\frac{N}{2}}\end{array}\right]\left[\begin{array}{c}{F}_{\frac{N}{2}}{f}_{even}\\ F_{\frac{N}{2}}{f}_{odd}\end{array}\right]\end{array}$$可以看到，经过变换后，计算出后面的矩阵 $\left[\begin{array}{c}{F}_{\frac{N}{2}}{f}_{even}\\ F_{\frac{N}{2}}{f}_{odd}\end{array}\right]$ 只需要 $2(\frac{N}{2}{)}^2$ 次乘法，而由于前面一个矩阵是对角矩阵组成的分块矩阵，因此计算前后矩阵的乘积一共只需要 $N$ 次乘法。在使用一次变换后，我们只需要 $N+2(\frac{N}{2}{)}^2$ 次乘法，远小于原来的 $N^2$ 次乘法。并且后面的 $F_{\frac{N}{2}}$ 还可以被继续分解，一直可以分解到二维矩阵乘二维向量，如下图所示：
  

FFT 实际上只要求 $N$ 可以被分解为两个正整数的乘积 (e.g. $F_9$ 可以被分解为 9 个 $3\times 3$ 的矩阵)，但我们一般都选择 $N$ 为 2 的整数次幂，如果信号采样次数不够 $2^k$，那我们就在信号后面补 0

卷积

• 卷积本身没有实际意义，它只是一种数学操作，但是卷积是很多场景下都会遇到的一类重复操作，因此单独起名为卷积。下面介绍两个卷积经常出现的场景：线性时不变系统和傅里叶级数

线性时不变系统

线性：$f(ax+by)=af(x)+bf(y)$; 时不变：系统的属性和时间没有关系

• 给定线性时不变系统的单位冲激响应 $h[n]$ (横轴为时间)
  我们想知道输入信号为 $x[n]$ 时，系统的输出信号 $y[n[$
  
• 由于是线性系统，因此可以分别计算 3 个时刻输入信号的输出 ($h[n-1]$ 表示 $h[n]$ 右移 1 个时间单位)
  将 3 个输出相加即可得到 $y[n]$
  
• 可以看出，计算 $y[n]$ 的公式即为离散卷积公式
  可以简写为
  $$y=x\ast h$$也就是说，在定义了卷积之后，我们就可以说任何一个线性时不变系统的输出就是输入信号和单位冲激响应的卷积

傅里叶级数

• 考虑两个周期为 $2\pi$ 的周期函数
  $$\begin{array}{rl}f(t)& =\sum _{n=-\infty }^{\infty }{c}_n{e}^{int}=\sum _{n=-\infty }^{\infty }{c}_n{z}^n\\ g(t)& =\sum _{n=-\infty }^{\infty }{d}_n{e}^{int}=\sum _{n=-\infty }^{\infty }{d}_n{z}^n\end{array}$$其中，$z=e^{it}$. 我们想要求得 $f(t)g(t)$ 的傅里叶系数
• 我们将 $f(t),g(t),f(t)g(t)$ 都展开，可得
  $$\begin{array}{c}f(t)=\cdots +c_{-2}{z}^{-2}+c_{-1}{z}^{-1}+c_0{z}^0+c_{1}z+c_2{z}^2+\cdots \\ g(t)=\cdots +d_{-2}{z}^{-2}+d_{-1}{z}^{-1}+d_0{z}^0+d_{1}z+d_2{z}^2+\cdots \\ f(t)g(t)=\cdots +m_{-2}{z}^{-2}+m_{-1}{z}^{-1}+m_0{z}^0+m_{1}z+m_2{z}^2+\cdots \end{array}$$可知，
  $$m_n=c_0{d}_n+c_1{d}_{n-1}+c_{-1}{d}_{n+1}+\cdots =\sum _{k=-\infty }^{\infty }{c}_k{d}_{n-k}$$因此，$f(t)g(t)$ 的傅里叶系数即为 $f(t)$ 傅里叶系数和 $g(t)$ 傅里叶系数的卷积

卷积这一节后面还有些内容，以后再看

参考文献

• 纯干货数学推导_傅里叶级数与傅里叶变换
• 傅立叶变换夯实基础系列视频
• 离散傅里叶变换零基础入门
• $Linear$ $algebra$ $and$ $its$ $applications$
• 傅里叶分析之掐死教程（完整版）