统计机器学习导论第六章读书笔记

 今天开一个新坑，阅读一下统计机器学习这本书，并进行一些翻译说一说自己的一些感想。前五章内容主要是一些基础的概率论入门知识，所以从第六章开始写。

 第六章主要讲的是多项分布的一些内容，本章当中会列举最著名的几个多项分布以及其一些性质，诸如，期望，方差，母函数（参考国内《基础概率论》李贤平老师的教材当中的叫法）。

6.1 多项分布

 3.2节当中介绍的伯努利分布是一个成功率为p的实验进行n次实验后成功x次实验的概率。多项分布是将伯努利实验向多维的一个扩展。
 我们讨论一个有d个面的骰子，令$\text{x}=(x^{(1)},x^{(2)},...,x^{(d)})$为投掷n次后每个面出现的次数结果。令$\text{p}=(p^{(1)},p^{(2)},...,p^{(d)})$为每个面每次实验出现的概率，其求和为1。那么多项分布概率$Mult(n,\text{p})$的含义就是n次实验后恰好出现的各种结果的概率分布。

其计算公式如下：

此公式推导相当于在n次实验中，取得$x^{(1)}$次第一种情况，$x^{(2)}$次第二种情况…$x^{(n)}$次第n种情况这样的结果，我们可以把次问题看成一个组和问题，所以有：
$$\begin{gathered} f(x)=C_n^{x^{(1)}}{C}_{n-x^{(1)}}^{x^{(2)}}...C_{n-x^{(1)}-x^{(2)}...x^{(n-1)}}^{x_n}(p_1{)}^{x^{(1)}}(p_2{)}^{x^{(2)}}...(p_n{)}^{x^{(n)}} \\ =\frac{n!}{x^{(1)}!(n-x^{(1)})!}\frac{(n-x^{(1)})!}{x^{(2)}!(n-x^{(1)}-x^{(2)})!}...\frac{(n-x^{(1)}-x^{(2)}-...x^{(n-1)})!}{x^{(n)}!(n-x^{(1)}-x^{(2)}-...x^{(n)})!}(p_1{)}^{x^{(1)}}(p_2{)}^{x^{(2)}}...(p_n{)}^{x^{(n)}} \end{gathered}$$
经过化简后得到书中结果。
我们可以看出取d=2，即只有成功和失败两种情况的时候，得到的就是伯努利分布的概率计算公式。
同时书中还指出，伯努利分布的计算公式还可以扩展得到二项式定理：

上式相当于遍历一多项分布实验的所有结果，所以只需要计算每一种多项分布的结果的求和即可得到上式。
tao’l
随后我们讨论多项分布的母函数的性质，因为之前没有解释过母函数，这里稍微做一下解释：
在多项分布种，母函数$M_x(t)$的计算：
$$M_x(t)=E[e^{t^T\text{x}}]=\sum _{\text{x}}p(\text{x})e^{t^T\text{x}}$$
将其展开成向量形式及对应上图的结果，后续运算过程上图已经清晰展示出来。
通过母函数的性质，可以很轻松地求得数学期望和方差。
数学期望$E(\xi )=M_x^{{}^{\prime }}(1)$对于每一个分量$x^{(i)}$求导得到数学期望为$n{p}_i$
方差为$D(\xi )=M_x^{{}^{\prime }}(1)+M_x^{{}^{\prime \prime }}(1)=n{p}_j(1-p_j)$

6.2 多元正态分布

 多元正态分布是对于一个多元向量，其每一个随机变量独立地符合一组$(0,1)$正态分布。其期望和方差推导如上图所示，比较容易理解。

 上图介绍了经过线性变换之后的多元正态分布的均值和方差。
 图6.1绘制了二维标准正态分布的密度函数。二维正态分布的一组边界线是椭圆形的，如果其协方差矩阵是对角形的（主对角线以外的元素为0）那么其椭圆形的主轴方向与坐标轴是同向的。如果所有的对角线元素都相等，那么边界线将会是球形的。
 图6.2展示了其协方差矩阵特征值分解的过程，在图6.3当中，作者表明了椭圆主轴的比例是特征值的平方根与特征向量的乘积。

6.3 迪利克雷分布

 选定一组d维正整数向量$({\alpha }_1,...,{\alpha }_n)$作为Gamma分布的参数，从中得到一组服从$Ga(\alpha ,\lambda )$的随机向量$(y^{(1)},...,y^{(n)})$,$V={\sum }_i{y}^{(i)}$,$\text{x}=(\frac{y^{(1)}}{V},...,\frac{y^{(n)}}{V})$即为迪利克雷分布的随机向量。从迪利克雷分布当中选择一个数相当于从一个非均匀的骰子当中获得一个取值。
 迪利克雷分布的概率密度函数计算如下所示：

 迪利克雷分布密度函数的推导我是通过共轭先验分布的方法推导出来的，与Beta分布相对应，Beta分布是二项分布的共轭先验分布，迪利克雷分布是多项分布的共轭先验分布。
除了通过共轭先验分布来进行理解以外，Beta分布还有一个含义——是$\mathrm{B}(\alpha ,\beta )$代表一个0，1均匀分布的$\alpha$小的数的分布（或者第$\beta$大的数），迪利克雷分布可以看作是上述步骤在多元空间上的一个扩展，详细内容大家可以去搜索《LDA数学八卦》里面有专门的章节，讲的非常通透！

 作者随后给出了迪利克雷分布的期望和协方差的推导公式。

6.4 威沙特分布

 威沙特分布的定义如上图所示，是一系列多元正态分布的矩阵乘积组成的散异矩阵。式（6.2），（6.3）解释了威沙特分布的概率密度计算方法。

 威沙特分布可以看作Gamma分布的一个多维的拓展，后续作者给出了威沙特分布的期望和方差。

总结

 从本章当中还是收获到了不少新的知识，首先重温了一下基础的母函数，期望方差等计算公式。随后在迪利克雷函数和威沙特函数可以说是开拓了很多眼界。但是在实际读的论文当中，迪利克雷函数和威沙特函数运用的有关性质我可能还是见的太少，对于一些性质也不太敏感，觉得学习了相应的计算和推导公式应该也很快会忘掉，所以看看过两天能不能找到这两个分布大显神威的文章结合一起阅读一下，增强一下相应的理解。