机器学习-白板推导系列笔记（二）-数学基础

此文章主要是结合哔站shuhuai008大佬的白板推导视频：数学基础_150min

全部笔记的汇总贴：机器学习-白板推导系列笔记

一、概述

假设有以下数据：

$$X=(x_1,x_1,\cdots ,x_N{)}^T={\left(\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_N^T\end{array}\right)}_{N\times p}$$
其中$x_i\in {\mathbb{R}}^p$且$x_i\stackrel{iid}{\sim }N(\mu ,\Sigma )$
则参数$\theta =(\mu ,\Sigma )$

二、通过极大似然估计高斯分布的均值和方差

（一）极大似然

$${\theta }_{MLE}=\underset{\theta }{\mathrm{argmax}}P(X|\theta )$$

（二）高斯分布

一维高斯分布：$p(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$
多维高斯分布：$p(x)=\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}exp(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))$

（三）一维高斯分布下的估计

1.关于$\theta$的似然函数

$$\begin{gathered} logP(X|\theta )=log\prod _{i=1}^{N}p(x_i|\theta ) \\ =\sum _{i=1}^{N}log\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}) \\ =\sum _{i=1}^N[log\frac{1}{\sqrt{2\pi }}+log\frac{1}{\sigma }-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}] \end{gathered}$$

2.通过极大似然估计法求解${\mu }_{MLE}$

$$\begin{gathered} {\mu }_{MLE}=\underset{\mu }{\mathrm{argmax}}logP(X|\theta ) \\ =\underset{\mu }{\mathrm{argmax}}\sum _{i=1}^N-\frac{(x_i-\mu {)}^2}{2{\sigma }^2} \\ =\underset{\mu }{\mathrm{argmin}}\sum _{i=1}^N(x_i-\mu {)}^2 \end{gathered}$$
对$\mu$求导
$$\begin{gathered} \frac{\partial {\sum }_{i=1}^N(x_i-\mu {)}^2}{\partial \mu }=\sum _{i=1}^{N}2(x_i-\mu )(-1)=0 \\ \iff \sum _{i=1}^N(x_i-\mu )=0 \\ \iff \sum _{i=1}^N{x}_i-\underset{N\mu }{\sum _{i=1}^N\mu }=0 \end{gathered}$$
解得$${\mu }_{MLE}=\frac{1}{N}\sum _{i=1}^N{x}_i$$

3.证明${\mu }_{MLE}$是无偏估计

$$E[{\mu }_{MLE}]=\frac{1}{N}\sum _{i=1}^{N}E[x_i]=\frac{1}{N}\sum _{i=1}^N\mu =\frac{1}{N}N\mu =\mu$$

4.通过极大似然估计法求解${\sigma }_{MLE}$

$$\begin{gathered} {\sigma }_{MLE}^2=\underset{\sigma }{\mathrm{argmax}}P(X|\theta ) \\ =\underset{\sigma }{\mathrm{argmax}}\underset{L}{\sum _{i=1}^N(-log\sigma -\frac{(x_i-\mu {)}^2}{2{\sigma }^2})} \\ \frac{\partial L}{\partial \sigma }=\sum _{i=1}^N[-\frac{1}{\sigma }+(x_i-\mu {)}^2{\sigma }^{-3}] \\ \iff \sum _{i=1}^N[-{\sigma }^2+(x_i-\mu {)}^2]=0 \\ \iff -\sum _{i=1}^N{\sigma }^2+\sum _{i=1}^N(x_i-\mu {)}^2=0 \\ {\sigma }_{MLE}^2=\frac{1}{N}\sum _{i=1}^N(x_i-\mu {)}^2 \end{gathered}$$
$\mu$取${\mu }_{MLE}$时，$${\sigma }_{MLE}^2=\frac{1}{N}\sum _{i=1}^N(x_i-{\mu }_{MLE}{)}^2$$

5.证明${\sigma }_{MLE}^2$是有偏估计

要证明${\sigma }_{MLE}^2$是有偏估计就需要判断$E[{\sigma }_{MLE}^2]\stackrel{?}{=}{\sigma }^2$，证明如下：

$$\begin{gathered} Var[{\mu }_{MLE}]=Var[\frac{1}{N}\sum _{i=1}^N{x}_i]=\frac{1}{N^2}\sum _{i=1}^{N}Var[x_i]=\frac{1}{N^2}\sum _{i=1}^N{\sigma }^2=\frac{{\sigma }^2}{N} \\ {\sigma }_{MLE}^2=\frac{1}{N}\sum _{i=1}^N(x_i-{\mu }_{MLE}{)}^2 \\ =\frac{1}{N}\sum _{i=1}^N(x_i^2-2x_i{\mu }_{MLE}+{\mu }_{MLE}^2{)}^2 \\ =\frac{1}{N}\sum _{i=1}^N{x}_i^2-\frac{1}{N}\sum _{i=1}^{N}2x_i{\mu }_{MLE}+\frac{1}{N}\sum _{i=1}^N{\mu }_{MLE}^2 \\ =\frac{1}{N}\sum _{i=1}^N{x}_i^2-2{\mu }_{MLE}^2+{\mu }_{MLE}^2 \\ =\frac{1}{N}\sum _{i=1}^N{x}_i^2-{\mu }_{MLE}^2 \end{gathered}$$
$$\begin{gathered} E[{\sigma }_{MLE}^2]=E[\frac{1}{N}\sum _{i=1}^N{x}_i^2-{\mu }_{MLE}^2] \\ =E[(\frac{1}{N}\sum _{i=1}^N{x}_i^2-{\mu }^2)-({\mu }_{MLE}^2-{\mu }^2)] \\ =E[\frac{1}{N}\sum _{i=1}^N(x_i^2-{\mu }^2)]-E[{\mu }_{MLE}^2-{\mu }^2] \\ =\frac{1}{N}\sum _{i=1}^{N}E[x_i^2-{\mu }^2]-(E[{\mu }_{MLE}^2]-E[{\mu }^2]) \\ =\frac{1}{N}\sum _{i=1}^N(E[x_i^2]-{\mu }^2)-(E[{\mu }_{MLE}^2]-{\mu }^2) \\ =\frac{1}{N}\sum _{i=1}^N(Var[x_i]+E[x_i{]}^2-{\mu }^2)-(E[{\mu }_{MLE}^2]-{\mu }_{MLE}^2) \\ =\frac{1}{N}\sum _{i=1}^N(Var[x_i]+{\mu }^2-{\mu }^2)-(E[{\mu }_{MLE}^2]-E[{\mu }_{MLE}{]}^2) \\ =\frac{1}{N}\sum _{i=1}^{N}Var[x_i]-Var[{\mu }_{MLE}] \\ ={\sigma }^2-\frac{1}{N}{\sigma }^2 \\ =\frac{N-1}{N}{\sigma }^2 \end{gathered}$$

可以理解为当$\mu$取${\mu }_{MLE}$就已经确定了所有$x_i$的和等于$N{\mu }_{MLE}$，也就是说当$N-1$个$x_i$确定以后，第$N$个$x_i$也就被确定了，所以少了一个“自由度”，因此$E[{\sigma }_{MLE}^2]=\frac{N-1}{N}{\sigma }^2$。

方差的无偏估计：

$${\hat{\sigma }}^2=\frac{1}{N-1}\sum _{i=1}^N(x_i-{\mu }_{MLE}{)}^2$$

三、为什么高斯分布的等高线是个“椭圆”

（一）高斯分布与马氏距离

1.多维高斯分布

$$\begin{gathered} x\stackrel{iid}{\sim }N(\mu ,\Sigma )=\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}exp(-\frac{1}{2}\underset{二次型}{(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}) \\ x\in {\mathbb{R}}^p，r.v. \\ x=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_p\end{array}\right)\mu =\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_p\end{array}\right)\Sigma ={\left[\begin{array}{cccc}{\sigma }_{11}& {\sigma }_{12}& \cdots & {\sigma }_{1p}\\ {\sigma }_{21}& {\sigma }_{22}& \cdots & {\sigma }_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ {\sigma }_{p1}& {\sigma }_{p2}& \cdots & {\sigma }_{pp}\end{array}\right]}_{p\times p} \end{gathered}$$
$\Sigma$一般是半正定的，在本次证明中假设是正定的，即所有的特征值都是正的，没有$0$。

2.马氏距离

$\sqrt{(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$为马氏距离（$x$与$\mu$之间，当$\Sigma$为$I$时马氏距离即为欧氏距离。）

（二）证明高斯分布等高线为椭圆

1.协方差矩阵的特征值分解

任意的$N\times N$实对称矩阵都有$N$个线性无关的特征向量。并且这些特征向量都可以正交单位化而得到一组正交且模为$1$的向量。故实对称矩阵$\Sigma$可被分解成$\Sigma =U\Lambda U^T$。

将$\Sigma$进行特征分解，$\Sigma =U\Lambda U^T$
其中$U{U}^T=U^{T}U=I，\underset{i=1,2,\cdots ,p}{\Lambda =diag({\lambda }_i)}，U=(u_1,u_2,\cdots ,u_p{)}_{p\times p}$
因此$$\begin{gathered} \Sigma =U\Lambda U^T \\ =\left(\begin{array}{cccc}{u}_1& u_2& \cdots & u_p\end{array}\right)\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_p\end{array}\right]\left(\begin{array}{c}{u}_1^T\\ u_2^T\\ ⋮\\ u_p^T\end{array}\right) \\ =\left(\begin{array}{cccc}{u}_1{\lambda }_1& u_2{\lambda }_2& \cdots & u_p{\lambda }_p\end{array}\right)\left(\begin{array}{c}{u}_1^T\\ u_2^T\\ ⋮\\ u_p^T\end{array}\right) \\ =\sum _{i=1}^p{u}_i{\lambda }_i{u}_i^T \end{gathered}$$
$${\Sigma }^{-1}=(U\Lambda U^T{)}^{-1}=(U^T{)}^{-1}{\Lambda }^{-1}{U}^{-1}=U{\Lambda }^{-1}{U}^T=\sum _{i=1}^p{u}_i\frac{1}{{\lambda }_i}{u}_i^T,其中{\Lambda }^{-1}=diag(\frac{1}{{\lambda }_i}),i=1,2,\cdots ,p$$

2.将概率密度整理成椭圆方程的形式

$$\begin{gathered} \Delta =(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ) \\ =(x-\mu {)}^T\sum _{i=1}^p{u}_i\frac{1}{{\lambda }_i}{u}_i^T(x-\mu ) \\ =\sum _{i=1}^p(x-\mu {)}^T{u}_i\frac{1}{{\lambda }_i}{u}_i^T(x-\mu ) \\ (令y_i=(x-\mu {)}^T{u}_i) \\ =\sum _{i=1}^p{y}_i\frac{1}{{\lambda }_i}{y}_i^T \\ =\sum _{i=1}^p\frac{y_i^2}{{\lambda }_i} \end{gathered}$$

上式中$y_i=(x-\mu {)}^T{u}_i$可以理解为将x减去均值进行中心化以后再投影到$u_i$方向上，相当于做了一次坐标轴变换。

当x的维度为$2$即$p=2时\Delta =\frac{y_1^2}{{\lambda }_1}+\frac{y_2^2}{{\lambda }_2}$，得到类似椭圆方程的等式，所以也就可以解释为什么其等高线是椭圆形状。

四、高斯分布的局限性

（一）参数过多

协方差矩阵${\Sigma }_{p\times p}$中的参数共有$1+2+\cdots +p=\frac{p(p+1)}{2}$个（${\Sigma }_{p\times p}$是对称矩阵），因此当$x$的维度$p$很大时，高斯分布的参数就会有很多，其计算复杂度为$O(p^2)$。

可以通过假设高斯分布的协方差矩阵为对角矩阵来减少参数，当高斯分布的协方差矩阵为对角矩阵时，特征向量的方向就会和原坐标轴的方向平行，因此高斯分布的等高线（同心椭圆）就不会倾斜。

另外如果在高斯分布的协方差矩阵为对角矩阵为对角矩阵的基础上使得其特征值全部相等（即${\lambda }_1={\lambda }_2=\cdots ={\lambda }_i$）,则高斯分布的等高线就会成为一个圆形，而且不会倾斜，称为各向同性。

（二）单个高斯分布拟合能力有限

解决方案是使用多个高斯分布，比如高斯混合模型。

五、求高斯分布的边缘概率与条件概率

（一）概述

首先将变量、均值和方差进行划分：

$$x=\left(\begin{array}{c}{x}_a\\ x_b\end{array}\right)$$
其中$x_a$是$m$维的，$x_b$是$n$维的。
$$\mu =\left(\begin{array}{c}{\mu }_a\\ {\mu }_b\end{array}\right)\Sigma =\left(\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right)$$

本部分旨在根据上述已知来求$P(x_a),P(x_b|x_a),P(x_b),P(x_a|x_b)。$

（二）定理

以下定义为推导过程中主要用到的定理，这里只展示定理的内容，不进行证明：

已知：$$\begin{gathered} x\sim N(\mu ,\Sigma ),x\in {\mathbb{R}}^p \\ y=Ax+B,y\in {\mathbb{R}}^q \end{gathered}$$
结论：$$y\sim N(A\mu +B,A\Sigma A^T)$$

一个简单但不严谨的证明：

$$\begin{gathered} E[y]=E[Ax+B]=AE[x]+B=A\mu +B \\ Var[y]=Var[Ax+B] \\ =Var[Ax]+Var[B] \\ =AVar[x]A^T+0 \\ =A\Sigma A^T \end{gathered}$$

（三）求边缘概率$P(x_a)$

$$\begin{gathered} x_a=\underset{A}{\left(\begin{array}{cc}{I}_m& 0_n\end{array}\right)}\underset{x}{\left(\begin{array}{c}{x}_a\\ x_b\end{array}\right)} \\ E[x_a]=\left(\begin{array}{cc}{I}_m& 0_n\end{array}\right)\left(\begin{array}{c}{\mu }_a\\ {\mu }_b\end{array}\right)={\mu }_a \\ Var[x_a]=\left(\begin{array}{cc}{I}_m& 0_n\end{array}\right)\left(\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right)\left(\begin{array}{c}{I}_m\\ 0_n\end{array}\right) \\ =\left(\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\end{array}\right)\left(\begin{array}{c}{I}_m\\ 0_n\end{array}\right)={\Sigma }_{aa} \end{gathered}$$

所以$x_a\sim N({\mu }_a,{\Sigma }_{aa})$，同理$x_b\sim N({\mu }_b,{\Sigma }_{bb})$。

（四）求条件概率$P(x_b|x_a)$

构造$\{\begin{array}{c}{x}_{b\cdot a}=x_b-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a\\ {\mu }_{b\cdot a}={\mu }_b-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mu }_a\\ {\Sigma }_{bb\cdot a}={\Sigma }_{bb}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{ab}\end{array}$$({\Sigma }_{bb\cdot a}是{\Sigma }_{aa}的舒尔补)$
$$\begin{gathered} x_{b\cdot a}=\underset{A}{\left(\begin{array}{cc}{\Sigma }_{ba}{\Sigma }_{aa}^{-1}& I_n\end{array}\right)}\underset{x}{\left(\begin{array}{c}{x}_a\\ x_b\end{array}\right)} \\ E[x_{b\cdot a}]=\left(\begin{array}{cc}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}& I_n\end{array}\right)\left(\begin{array}{c}{\mu }_a\\ {\mu }_b\end{array}\right)={\mu }_b-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mu }_a={\mu }_{b\cdot a} \\ Var[x_{b\cdot a}]=\left(\begin{array}{cc}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}& I_n\end{array}\right)\left(\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right)\left(\begin{array}{c}-{\Sigma }_{aa}^{-1}{\Sigma }_{ba}^T\\ I_n\end{array}\right) \\ =\left(\begin{array}{cc}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{aa}+{\Sigma }_{ba}& -{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{ab}+{\Sigma }_{bb}\end{array}\right) \\ =\left(\begin{array}{cc}0& -{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{ab}+{\Sigma }_{bb}\end{array}\right)\left(\begin{array}{c}-{\Sigma }_{aa}^{-1}{\Sigma }_{ba}^T\\ I_n\end{array}\right) \\ ={\Sigma }_{bb}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{ab} \\ ={\Sigma }_{bb\cdot a} \end{gathered}$$

现在可以得到$x_{b\cdot a}\sim N({\mu }_{b\cdot a},{\Sigma }_{bb\cdot a})$。根据$x_b$与$x_{b\cdot a}$的关系可以得到$x_b|x_a$的分布：

$$\begin{gathered} x_b=\underset{x}{x_{b\cdot a}}+\underset{B}{{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a} \\ (在求条件概率P(x_b|x_a)时x_a对于x_b来说可以看做已知，因此上式中{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a看做常量B) \end{gathered}$$$$\begin{gathered} E[x_b|x_a]={\mu }_{b\cdot a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a \\ Var[x_b|x_a]=Var[x_{b\cdot a}]={\Sigma }_{bb\cdot a} \end{gathered}$$

因此可以得到$x_b|x_a\sim N({\mu }_{b\cdot a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a,{\Sigma }_{bb\cdot a})$，同理可以得到$x_a|x_b\sim N({\mu }_{a\cdot b}+{\Sigma }_{ab}{\Sigma }_{bb}^{-1}{x}_b,{\Sigma }_{aa\cdot b})$。

六、求高斯分布的联合概率分布

（一）概述

$$\begin{gathered} p(x)=N(x|\mu ,{\Lambda }^{-1}) \\ p(y|x)=N(y|Ax+b,L^{-1}) \end{gathered}$$$$\Lambda 和L是精度矩阵（precisionmatrix），precisionmatrix=(covariancematrix{)}^T。$$

本部分旨在根据上述已知来求$p(y),p(x|y)$。

（二）求解$p(y)$

由上述已知可以确定$y$与$x$的关系为线性高斯模型，则$y$与$x$符合下述关系：

$$y=Ax+b+\epsilon ,\epsilon \sim N(0,L^{-1})$$

然后求解$y$的均值和方差：

$$\begin{gathered} E[y]=E[Ax+b+\epsilon ]=E[Ax+b]+E[\epsilon ]=A\mu +b \\ Var[y]=Var[Ax+b+\epsilon ]=Var[Ax+b]+Var[\epsilon ]=A{\Lambda }^{-1}{A}^T+L^{-1} \end{gathered}$$
则可以得出：$$y\sim N(A\mu +b,L^{-1}+A{\Lambda }^{-1}{A}^T)$$

（三）求解$p(x|y)$

求解$p(x|y)$需要首先求解x与y的联合分布，然后根据上一部分的公式直接得到$p(x|y)$。

$$构造z=\left(\begin{array}{c}x\\ y\end{array}\right)\sim N\left(\left[\begin{array}{c}\mu \\ A\mu +b\end{array}\right],\left[\begin{array}{cc}{\Lambda }^{-1}& \Delta \\ {\Delta }^T& L^{-1}+A{\Lambda }^{-1}{A}^T\end{array}\right]\right)$$
现在需要求解$\Delta$，$$\begin{gathered} \Delta =Cov(x,y) \\ =E[(x-E[x])(y-E[y]{)}^T] \\ =E[(x-\mu )(y-A\mu -b{)}^T] \\ =E[(x-\mu )(Ax+b+\epsilon -A\mu -b{)}^T] \\ =E[(x-\mu )(Ax-A\mu +\epsilon {)}^T] \\ =E[(x-\mu )(Ax-A\mu {)}^T+(x-\mu ){\epsilon }^T] \\ =E[(x-\mu )(Ax-A\mu {)}^T]+E[(x-\mu ){\epsilon }^T] \\ （因为x\perp \epsilon ，所以(x-\mu )\perp \epsilon ，所以E[(x-\mu ){\epsilon }^T]=E[(x-\mu )]E[{\epsilon }^T]） \\ =E[(x-\mu )(Ax-A\mu {)}^T]+E[(x-\mu )]E[{\epsilon }^T] \\ =E[(x-\mu )(Ax-A\mu {)}^T]+E[(x-\mu )]\cdot 0 \\ =E[(x-\mu )(Ax-A\mu {)}^T] \\ =E[(x-\mu )(x-\mu {)}^T{A}^T] \\ =E[(x-\mu )(x-\mu {)}^T]A^T \\ =Var[x]A^T \\ ={\Lambda }^{-1}{A}^T \end{gathered}$$
由此可得$，z=\left(\begin{array}{c}x\\ y\end{array}\right)\sim N\left(\left[\begin{array}{c}\mu \\ A\mu +b\end{array}\right],\left[\begin{array}{cc}{\Lambda }^{-1}& {\Lambda }^{-1}{A}^T\\ A{\Lambda }^{-1}& L^{-1}+A{\Lambda }^{-1}{A}^T\end{array}\right]\right)$

套用上一部分的公式可以得到：$$x|y\sim N({\mu }_{x\cdot y}+{\Lambda }^{-1}{A}^T(L^{-1}+A{\Lambda }^{-1}{A}^T{)}^{-1}y,{\Sigma }_{xx\cdot y})$$

下一章传送门：白板推导系列笔记（三）-线性回归

参考文章
高斯分布|机器学习推导