快速傅里叶变换FFT与快速数论变换NTT入门

一.FFT引入.

离散傅里叶变换DFT，是一种用于将多项式从系数表示转化为点值表示的多项式变换.

快速傅里叶变换FFT，是一种$O(n\log n)$的傅里叶变换，在OI中占有重要地位，主要用与优化卷积过程.

卷积，即给定$a_i,b_i$，求$c_i={\sum }_{i=0}^n{a}_i{b}_{n-i}$.

为什么要用FFT来优化卷积，因为一个卷积直接求的复杂度是$O(n^2)$的…


二.系数表示与点值表示.

多项式主要有两种表示，一个是系数表示，另一个是点值表示.

系数表示：即、对于一个多项式$F(x)={\sum }_{i=0}^n{a}_i{x}^i$，用系数$a_i$表示一个多项式被称为多项式的系数表示.

点值表示：对于一个多项式$F(x)={\sum }_{i=0}^n{a}_i{x}^i$，用$n+1$个点$(x_i,F(x^i))$表示一个多项式被称为点值表示.

考虑在做卷积的时候，系数表示明显要用$O(n^2)$的时间，而对于点值表示的两个多项式$A(x),B(x)$，发现它们卷积起来的点值表示就是$(x_i,A(x_i)B(x_i))$，也就是说时间复杂度为$O(n)$.

突然感觉卷积只需要$O(n)$即可解决了.只是我们一般用的是系数表示，直接系数表示可是没法$O(n)$卷积的，所以我们要在这两种形式之间转换.


三.点值与插值.

点值：多项式从系数表示点值表示.

插值：多项式从点值表示系数表示.

对于点值，我们可以随意带入$n+1$个横坐标$x_0,x_1,x_2,...,x_n$，分别求得对应的$F(x_0),F(x_1),F(x_2),...,F(x_n)$，时间复杂度$O(n^2)$.

这个东西的速度与直接系数表示做卷积同级了…

不管了考虑插值.我们得到$n+1$个点值$(x_0,F(x_0)),(x_1,F(x_1)),...,(x_2,F(x_n))$，那么可以列出方程组：
$$\{\begin{array}{c}{x}_0^0{a}_0+x_0^1{a}_1+\cdots +x_0^n{a}_n=F(x_0)\\ x_1^0{a}_0+x_1^1{a}_1+\cdots +x_1^n{a}_n=F(x_1)\\ ⋮\\ x_n^0{a}_0+x_n^1{a}_1+\cdots +x_n^n{a}_n=F(x_n)\end{array}$$

我们就可以列出一个矩阵方程：
$$\left[\begin{array}{ccccc}1& x_0& x_0^2& \cdots & x_0^n\\ 1& x_1& x_1^2& \cdots & x_1^n\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& x_n& x_n^2& \cdots & x_n^n\end{array}\right]\left[\begin{array}{c}{a}_0\\ a_1\\ ⋮\\ a_n\end{array}\right]=\left[\begin{array}{c}F(x_0)\\ F(x_1)\\ ⋮\\ F(x_n)\end{array}\right]$$

这里有一个特殊矩阵的出现，即范德蒙矩阵.

范德蒙矩阵：我们将等式左边$(n+1)\ast (n+1)$的矩阵称为范德蒙矩阵，表示为$V(x_0,x_1,...,x_n)$，即：
$$V(x_0,x_1,...,x_n)=\left[\begin{array}{ccccc}1& x_0& x_0^2& \cdots & x_0^n\\ 1& x_1& x_1^2& \cdots & x_1^n\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& x_n& x_n^2& \cdots & x_n^n\end{array}\right]$$

由于我们要求出的是$a_i$，高斯消元就可以了，时间复杂度$O(n^3)$…

直接比系数表示求卷积还慢了…

不过插值还是可以$O(n^2)$求的，利用拉格朗日插值法即可.

然后就可以直接$O(n^2)$求插值了，然而还是与系数表示直接卷积同级，常数还大的一匹…

不过从上面我们可以看到的是，一次多项式卷积的过程可以分这几步走：
1.首先注意到$C(x)=A(x)B(x)$，若$A,B$的最高次指数为$n$，那么$C$的最高次指数为$2n$，所以我们先把$A,B$的最高次指数填到$2n$.
2.多项式点值.
3.点值表示下多项式乘法.
4.多项式插值.


四.一些在下面会用到的复数知识.

虚数单位：虚数单位$i$满足$i^2=-1$.

虚数：一个虚数可以用$ai$来表示.

复数：一个复数可以表示为$z=a+bi$，其中$a$被称为实部，$b$被称为虚部，$i$为虚数单位.

复数集合符号为$C$.

复数加减法：实部对应实部，虚部对应虚部.即：
$$\begin{gathered} z_1=a_1+b_{1}i,z_2=a_2+b_{2}i \\ {z}_1\pm z_2=(a_1+b_{1}i)\pm (a_2+b_{2}i)=(a_1\pm a_2)+(b_1\pm b_2)i \end{gathered}$$

复数乘法：
$$\begin{gathered} z_1=a+b_{1}i,z_2=a+b_{2}i \\ {z}_1{z}_2=(a_1+b_{1}i)(a_2+b_{2}i)=(a_1{a}_2-b_1{b}_2)+(a_1{b}_2+a_2{b}_1)i \end{gathered}$$

复数的几何意义：我们可以用一个直角坐标系的的$x$轴来表示实部，$y$轴来表示虚部.即对于一个复数$z=a+bi$，它在直角坐标系上表示为：

欧拉公式（复数在指数上的定义）：$e^{\varphi i}=\cos \varphi +i\sin \varphi$.

欧拉恒等式：$e^{\pi i}+1=0$，即$e^{\pi i}=-1$.

复数作为指数在极坐标系上的意义：对于$e^{ui}=\cos u+i\sin u$，它在极坐标系上可以表示为：



五.单位复数根.

单位复数根：一个$n$次单位复数根定义为一个复数$\omega$使得${\omega }^n=1$，记为${\omega }_n$.

很明显对于任意一个正整数$n$，有$n$个$n$次单位根恰好均匀分布在单位圆上.

例如$n=8$时：

上图中$0$到$7$分别表示${\omega }_8^0$到${\omega }_8^7$.

根据欧拉定理和复数作为指数在极坐标系上的意义，可以得到：
$${\omega }_n^k=e^{\frac{2\pi ik}{n}}=(e^{\frac{2\pi i}{n}}{)}^k$$

接下来我们给出三个引理：

引理1：${\omega }_{dn}^{dk}={\omega }_n^k$.

证明：${\omega }_{dn}^{dk}=e^{\frac{2\pi idk}{dn}}=e^{\frac{2\pi ik}{n}}={\omega }_n^k$.

引理2：$({\omega }_n^{k+\frac{n}{2}}{)}^2=({\omega }_n^k{)}^2$.

证明：$({\omega }_n^{k+\frac{n}{2}}{)}^2={\omega }_n^{2k+n}={\omega }_n^{2k}=({\omega }_n^k{)}^2$.

引理3：当$n|k$时，${\sum }_{j=0}^{n-1}({\omega }_n^k{)}^j=0$.

证明：
当$n|k$时有：
$$\sum _{j=0}^{n-1}({\omega }_n^k{)}^j=\frac{({\omega }_n^k{)}^n-1}{{\omega }_n^k-1}=\frac{({\omega }_n^n{)}^k-1}{{\omega }_n^k-1}=\frac{1^k-1}{{\omega }_n^k-1}=0$$

证毕.


六.傅里叶变换DFT.

傅里叶变换专门指从系数表示到点值表示的过程，也就是说这一部分介绍点值过程.

接下来我们假设$n$一定是$2$的整次幂，这可以让分治的过程好理解也好写很多.

考虑三个多项式$A(x),A_0(x),A_1(x)$，它们的关系如下：
$$\begin{gathered} A(x)=\sum _{i=0}^{n-1}{a}_i{x}^i=a_0+a_{1}x+a_2{x}^2+...+a_{n-1}{x}^{n-1} \\ {A}_0(x)=\sum _{i=0}^{\frac{n}{2}-1}{a}_{2i}{x}^{2i}=a_0+a_2{x}^2+a_4{x}^4+...+a_{n-2}{x}^{n-2} \\ {A}_1(x)=\sum _{i=0}^{\frac{n}{2}-1}{a}_{2i+1}{x}^{2i+1}=a_{1}x+a_3{x}^3+a_5{x}^5+...+a_{n-1}{x}^{n-1} \end{gathered}$$

若我们用一个$n$次单位根${\omega }_n^k$代入，则：
$$\begin{gathered} A({\omega }_n^k)=a_0+a_1{\omega }_n^k+a_2{\omega }_n^{2k}+...+a_{n-1}{\omega }_n^{(n-1)k} \\ =(a_0+a_2{\omega }_n^{2k}+a_4{\omega }_n^{4k}+...+a_{n-2}{\omega }_n^{(n-2)k})+{\omega }_n^k(a_1+a_3{\omega }_n^{2k}+a_5{\omega }_n^{4k}+...+a_{n-1}{\omega }_n^{(n-2)k}) \\ =A_0({\omega }_n^{2k})+{\omega }_n^k{A}_1({\omega }_n^{2k}) \end{gathered}$$

然后我们要分别往$A_0,A_1$里面代入$\frac{n}{2}$个$n$次单位根，可是应该代入哪些单位根呢？

根据引理2，我们发现${\omega }_n^{2k}={\omega }_n^{2kmodn}$，也就是说实际上只有$\frac{n}{2}$个值而已.

根据引理1，发现${\omega }_n^{2kmodn}={\omega }_{\frac{n}{2}}^{kmod\frac{n}{2}}$，所以其实就是代入$\frac{n}{2}$个$\frac{n}{2}$次单位根.

这样子分治很明显时间复杂度为$T(n)=2T(\frac{n}{2})+O(n)=O(n\log n)$.


七.傅里叶逆变换IDFT.

接下来我们讨论如何插值，即从点值表示到系数表示.

考虑上面的范德蒙矩阵，我们现在拥有的矩阵方程为：
$$\left[\begin{array}{ccccc}1& {\omega }_n& {\omega }_n^2& \cdots & {\omega }_n^{n-1}\\ 1& {\omega }_n^2& {\omega }_n^4& \cdots & {\omega }_n^{2(n-1)}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& {\omega }_n^{n-1}& {\omega }_n^{2(n-1)}& \cdots & {\omega }_n^{(n-1{)}^2}\end{array}\right]\left[\begin{array}{c}{a}_0\\ a_1\\ ⋮\\ a_{n-1}\end{array}\right]=\left[\begin{array}{c}F({\omega }_0)\\ F({\omega }_1)\\ ⋮\\ F({\omega }_{n-1})\end{array}\right]$$

现在我们用$V$表示范德蒙矩阵，用$a$表示$a_i$组成的矩阵，并且用$F$表示等式右边的矩阵.

经过上面的讨论，我们要得到$V$的逆矩阵$V^{-1}$来得到$a$，即$a=V^{-1}F$.

由于$V^{-1}V=E$，$E$为单位矩阵满足：
$$E_{i,j}=\{\begin{array}{cc}1& i=j\\ 0& i\ne j\end{array}$$

定理：对于一个范德蒙矩阵$V=(1,{\omega }_n,{\omega }_n^2,...,{\omega }_n^{n-1})$，$V_{j,k}^{-1}=\frac{{\omega }_n^{-kj}}{n}$.

证明：
尝试证明$V{V}^{-1}=E$，考虑第$(j,j^{\prime })$项：
$$\begin{gathered} (V^{-1}V{)}_{j,j^{\prime }}=\sum _{k=0}^{n-1}{V}_{j,k}^{-1}{V}_{k,j^{\prime }} \\ =\sum _{k=0}^{n-1}\frac{{\omega }_n^{-kj}}{n}{\omega }_n^{k{j}^{\prime }} \\ =\sum _{k=0}^{n-1}\frac{{\omega }_n^{k(j^{\prime }-j)}}{n} \end{gathered}$$

根据引理3可得：
$$(V^{-1}V{)}_{j,j^{\prime }}=\{\begin{array}{cc}1& j=j^{\prime }\\ 0& j\ne j^{\prime }\end{array}=E_{j,j^{\prime }}$$

证毕.

那么可以得到：
$$a_j=\frac{1}{n}\sum _{k=0}^{n-1}F({\omega }_n^k){\omega }_n^{-kj}$$

突然发现了什么，我们把$F({\omega }_n^k)$看成系数，把${\omega }_n^{-kj}$看成${\omega }_n^{-k}$的指数…

这不就是个卷积吗，FFT搞一下即可…


八.蝶形变换.

上面的FFT是递归而且要在函数内开数组，常数巨大而且容易爆栈，所以我们考虑能否写一个不用递归的FFT呢？

考虑递归的时候，把递归过程想象成一棵树，每一个节点所用的$a$数组对应原来$a$数组中的哪些下标：

考虑自底向上一步步合并出原结果，那么我们要把这个东西按照叶子的位置重排一下.

这咋重排啊，这又没啥规律…搞成二进制看看吧：
$$\begin{gathered} 00000000 \\ 41000011 \\ 20100102 \\ 61100113 \\ 10011004 \\ 51011015 \\ 30111106 \\ 71111117 \end{gathered}$$

突然发现叶子的顺序就是按照二进制翻转来的？那就二进制翻转好了.

怎么实现二进制翻转？考虑对于$i$，把它向左移一位翻转后，再向左移一位，这是发现还有最高位可能为$1$，判断原数最后一位是否为$1$来判断是否要加.


九.快速数论变换NTT.

这一部分内容要涉及到原根，但不会涉及太多.想要详细了解原根可以去看高次同余方程之阶与原根，这里我们不详细展开了.

一个NTT模数一般来说要是$2^{k}x+1$的形式，一般来说会是$998244353,1004535809,469762049$，其中：
$$\begin{gathered} 998244353=2^{23}\ast 119+1 \\ 1004535809=2^{21}\ast 479+1 \\ 469762049=2^{26}\ast 7+1 \end{gathered}$$

它们的原根都是$g=3$.

然后我们想起单位根要满足的性质为${\omega }^n=1$，那么${\omega }^n\equiv 1(modp)$，其中$p$是个质数，现在我们要求$\omega$.

很显然$\omega =g^{\frac{p-1}{n}}$，但是这时指数可不一定是个整数了，但是系数为$998244353$或$1004535809$时，$n=2^{20}$时没有问题的，而$n>2^{20}$的时候一般就不会让你NTT了.所以遇到这两个指数直接搞即可.

想要知道更多NTT模数和原根的可以去看FFT用到的各种素数.


十.例题与代码.

题目：UOJ34.

FFT：

#include
using namespace std;

typedef long long LL;

const int N=262144;
const double pi=acos(-1);

struct comp{
  double x,y;
  comp(double X=0,double Y=0){x=X;y=Y;}
  comp operator + (const comp &p)const{return comp(x+p.x,y+p.y);}
  comp operator - (const comp &p)const{return comp(x-p.x,y-p.y);}
  comp operator * (const comp &p)const{return comp(x*p.x-y*p.y,x*p.y+y*p.x);}
  comp operator * (const double &p)const{return comp(x*p,y*p);}
  comp operator / (const double &p)const{return comp(x/p,y/p);}
};

comp wn[2][N+9];

void Get_wn(){
  for (int i=0;i<N;++i){
	wn[0][i]=comp(cos(2*i*pi/N),sin(2*i*pi/N));
	wn[1][i]=comp(cos(2*i*pi/N),-sin(2*i*pi/N));
  }
}

int len,rev[N+9];

void Get_len(int n){
  int l=0;
  for (len=1;len<=n;len<<=1) ++l;
  for (int i=0;i<len;++i) rev[i]=rev[i>>1]>>1|(i&1)<<l-1;
}

comp pw[N+9];

void FFT(comp *a,int n,int t){
  for (int i=0;i<n;++i)
	if (i<rev[i]) swap(a[i],a[rev[i]]);
  for (int i=1;i<n;i<<=1){
	int tl=N/(i<<1);
	for (int j=0;j<i;++j) pw[j]=wn[t][j*tl];
	for (int j=0;j<n;j+=i<<1)
	  for (int k=0;k<i;++k){
		comp x=a[j+k],y=pw[k]*a[i+j+k];
		a[j+k]=x+y;a[i+j+k]=x-y;
	  }
  }
  if (!t) return;
  for (int i=0;i<n;++i) a[i]=a[i]/n;
}

void Poly_mul(comp *a,comp *b,int n){
  Get_len(n);
  FFT(a,len,0);
  FFT(b,len,0);
  for (int i=0;i<len;++i) a[i]=a[i]*b[i],b[i]=comp();
  FFT(a,len,1);
}

int n,m;
comp a[N+9],b[N+9];

void into(){
  scanf("%d%d",&n,&m);
  for (int i=0;i<=n;++i)
	scanf("%lf",&a[i].x);
  for (int i=0;i<=m;++i)
	scanf("%lf",&b[i].x);
}

void work(){
  Get_wn();
  Poly_mul(a,b,n+m);
}

void outo(){
  for (int i=0;i<=n+m;++i)
	printf("%d ",(int)(a[i].x+0.5));
  puts("");
}

int main(){
  into();
  work();
  outo();
  return 0;
}

NTT：

#include
using namespace std;

typedef long long LL;

const int N=262144,mod=998244353,G=3,invG=332748118;

int add(int a,int b,int p=mod){return a+b>=p?a+b-p:a+b;}
int sub(int a,int b,int p=mod){return a-b<0?a-b+p:a-b;}
int mul(int a,int b,int p=mod){return (LL)a*b%p;}
void sadd(int &a,int b,int p=mod){a=add(a,b,p);}
void ssub(int &a,int b,int p=mod){a=sub(a,b,p);}
void smul(int &a,int b,int p=mod){a=mul(a,b,p);}
int Power(int a,int k,int p=mod){int res=1;for (;k;k>>=1,smul(a,a,p)) if (k&1) smul(res,a,p);return res;}
int Get_inv(int a,int p=mod){return Power(a,p-2,p);}

int wn[2][N+9];

void Get_wn(){
  int w0=Power(G,(mod-1)/N),w1=Power(invG,(mod-1)/N);
  wn[0][0]=wn[1][0]=1;
  for (int i=1;i<N;++i){
	wn[0][i]=mul(wn[0][i-1],w0);
	wn[1][i]=mul(wn[1][i-1],w1);
  }
}

int len,rev[N+9];

void Get_len(int n){
  int l=0;
  for (len=1;len<=n;len<<=1) ++l;
  for (int i=0;i<len;++i) rev[i]=rev[i>>1]>>1|(i&1)<<l-1;
}

int pw[N+9];

void NTT(int *a,int n,int t){
  for (int i=0;i<n;++i)
	if (i<rev[i]) swap(a[i],a[rev[i]]);
  for (int i=1;i<n;i<<=1){
	int tl=N/(i<<1);
	for (int j=0;j<i;++j) pw[j]=wn[t][j*tl];
	for (int j=0;j<n;j+=i<<1)
	  for (int k=0;k<i;++k){
		int x=a[j+k],y=(LL)pw[k]*a[i+j+k]%mod;
		a[j+k]=(x+y)%mod;a[i+j+k]=(x-y+mod)%mod;
	  }
  }
  if (!t) return;
  t=Get_inv(n);
  for (int i=0;i<n;++i) smul(a[i],t);
}

void Poly_mul(int *a,int *b,int n){
  Get_len(n);
  NTT(a,len,0);
  NTT(b,len,0);
  for (int i=0;i<len;++i) smul(a[i],b[i]),b[i]=0;
  NTT(a,len,1);
}

int n,m,a[N+9],b[N+9];

void into(){
  scanf("%d%d",&n,&m);
  for (int i=0;i<=n;++i)
	scanf("%d",&a[i]);
  for (int i=0;i<=m;++i)
	scanf("%d",&b[i]);
}

void work(){
  Get_wn();
  Poly_mul(a,b,n+m);
}

void outo(){
  for (int i=0;i<=n+m;++i)
	printf("%d ",a[i]);
  puts("");
}

int main(){
  into();
  work();
  outo();
  return 0;
}

写在最后.

感谢rvalue神犇的blog教会了我FFT.

《算法导论》上的FFT也不错，虽然我没看完.