[EE261学习笔记] 7.卷积与中心极限定理

本文的最重要的一个定理，中心极限定理Central limit theorem(CLT)：

任何函数多次与自身进行卷积运算之后，都会逼近某高斯分布，即

$$\underset{n\to \infty }{\lim }f(x)\ast ...\ast f(x)=\underset{n\to \infty }{\lim }{f}^{\ast n}(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

为了方便起见，我们将标准正态分布的情况，更一般的证明可以通过本文证明的标准正态分布通过缩放、位移得到。

---

我们回忆一下概率论几个定义或定理:
设$p(x)$为概率密度分布，$P(a\le x\le b)$为$X$在$[a,b]$内的概率，则
$p(x)\ge 0$
$P(a\le x\le b)={\int }_a^{b}p(x)dx$
$F(x)=P(X\le x)={\int }_{-\infty }^{x}p(x)dx$
$P(-\infty \le x\le +\infty )=1$，
$平均值\overline{x}={\int }_{-\infty }^{\infty }xp(x)dx$， $标准差s={\int }_{-\infty }^{\infty }{x}^{2}p(x)dx$

若$X$的概率密度为$f(X)$，则$aX$的概率密度为KaTeX parse error: \tag works only in display equations

简单证明一下最后一条：
设$X$的概率密度为$f(X)$，则对于$Y=kX,k>0$

$$F(y)=P(Y\le y)=P(kX\le y)=P(X\le \frac{y}{k})={\int }_{-\infty }^{\frac{y}{k}}p(x)dx$$

对其求导，利用定积分求导公式可得：

$$\begin{array}{rl}f(y)=\frac{dF(y)}{dy}& =p\left(\frac{y}{k}\right)\frac{d\left(\frac{y}{k}\right)}{dy}-\underset{c\to -\infty }{\lim }p(c)\frac{dc}{dy}\\ & =\frac{1}{k}p\left(\frac{y}{k}\right)\end{array}$$

将变量$y$用变量$x$替换即得证

---

设$X_1$，$X_2$为独立的随机变量，那么

$$P(X_1+X_2\le t)={\iint }_{X_1+X_2\le t}{p}_1(X_1)p_2(X_2)d{X}_{1}d{X}_2$$

令$u=X_1,v=X_1+X_2$，则$X_1=u,X_2=v-u$，运用雅可比变换，有：

$$\begin{array}{rl}P(X_1+X_2\le t)& ={\iint }_{v\le t}{p}_1(u)p_2(v-u)\left|\begin{array}{cc}\frac{\partial X_1}{\partial u}& \frac{\partial X_1}{\partial v}\\ \frac{\partial X_2}{\partial u}& \frac{\partial X_2}{\partial v}\end{array}\right|dudv\\ & ={\int }_{-\infty }^t{\int }_{-\infty }^{+\infty }{p}_1(u)p_2(v-u)dudv\\ & ={\int }_{-\infty }^t(p_1\ast p_2)(v)dv\end{array}$$

因此，$X_1+X_2$的概率密度，就是$p_1$与$p_2$的卷积
不难证明，$X_1+\cdots +X_n$的概率密度，可以由$p_1\ast \cdots \ast p_n$来表示，即

$$p(X_1+\cdots +X_n)=p_1\ast \cdots \ast p_n\text{\hspace{1em}(2)}$$

---

我们设 $X_1+\cdots +X_n$ 有相同的概率分布 $p(x)$（即独立同分布IID）。方便起见，设他们分别的平均值为 $0$，标准差为 $1$，即：
$\overline{x}={\int }_{-\infty }^{\infty }xp(x)dx=0$
$s={\int }_{-\infty }^{\infty }{x}^{2}p(x)dx=1$

设 $\mathcal{S}=X_1+\cdots +X_n$，则 $\mathcal{S}$ 的平均值为 $0$，方差为 $1$，标准差为 $\sqrt{n}$

接下来我们证明中心极限定理（CLT）：

设 $p_n(x)$ 为 $\frac{\mathcal{S}}{\sqrt{n}}$ 的概率密度（这样标准差就为$1$），则

$$\underset{n\to \infty }{\lim }{p}_n(x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}$$

证明如下：

由 $(2)$ 式可知，$p(\mathcal{S})=p_1\ast \cdots \ast p_n$，而 $p_n(x)$ 相当于 $p(\mathcal{S})$ 的缩放，根据 $(1)$ 知，

$$p_n(x)=\sqrt{n}p\left(\sqrt{n}\mathcal{S}\right)=\sqrt{n}{p}^{\ast n}(\sqrt{n}x)$$

对进行傅里叶变换，并根据傅里叶变换的拉伸性，有：

$$\begin{array}{rl}\mathcal{F}(p_n(x))& =\sqrt{n}\mathcal{F}(p^{\ast n}(\sqrt{n}x))\\ & =\sqrt{n}(\frac{1}{\sqrt{n}}(\mathcal{F}(p^{\ast n}))(\frac{s}{\sqrt{n}}))\\ & =(\mathcal{F}(p^{\ast n}))(\frac{s}{\sqrt{n}})\\ & =(\mathcal{F}p{)}^n(\frac{s}{\sqrt{n}})\\ & =(\mathcal{F}p(\frac{s}{\sqrt{n}}){)}^n\end{array}\text{\hspace{1em}(3)}$$

我们将 $\mathcal{F}p(\frac{s}{\sqrt{n}})$ 展开，有：

$$\mathcal{F}p(\frac{s}{\sqrt{n}})={\int }_{-\infty }^{+\infty }{e}^{-2\pi i(\frac{s}{\sqrt{n}})x}p(x)dx$$

对 $e^{-2\pi i(\frac{s}{\sqrt{n}})x}$ 用泰勒展开，有：

$$\begin{array}{rl}\mathcal{F}p(\frac{s}{\sqrt{n}})& ={\int }_{-\infty }^{+\infty }\left[1-\frac{2\pi isx}{\sqrt{n}}-\frac{1}{2}{\left(\frac{2\pi sx}{\sqrt{\pi }}\right)}^2+\dots \right]p(x)dx\\ & ={\int }_{-\infty }^{+\infty }p(x)dx-\frac{2\pi is}{\sqrt{n}}{\int }_{-\infty }^{+\infty }xp(x)dx-\\ & =1-0-\frac{2{\pi }^2{s}^2}{n}+o\left({\frac{1}{\sqrt{n}}}^3\right)\end{array}$$

显然，当 $n\to \infty$ 时，$\mathcal{F}p(\frac{s}{\sqrt{n}})\approx 1-\frac{2{\pi }^2{s}^2}{n}$，将其带入 $(3)$ 式，可得

$$(\mathcal{F}p(\frac{s}{\sqrt{n}}){)}^n\approx {\left(1-\frac{2{\pi }^2{s}^2}{n}\right)}^n={\left({\left(1+\frac{-2{\pi }^2{s}^2}{n}\right)}^{\frac{n}{-2{\pi }^2{s}^2}}\right)}^{-2{\pi }^2{s}^2}=e^{-2{\pi }^2{s}^2}$$

对其进行傅里叶逆变换，运用傅里叶变换的拉伸性对高斯函数进行拉伸可得：

$$\underset{n\to \infty }{\lim }{p}_n(x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}$$

得证。