机器学习——算法学习——主题模型LDA（1）数学基础
一.重要公式
1. 贝叶斯公式
经典的贝叶斯公式表示为：
。
当X为固定值时，P(X)为公共项。故可以写为：
。
其中，我们对于随机变量θ，可以定义定义：
①先验概率：
②似然函数：
③后验概率：
因此，可以给出最后对贝叶斯公式的解读：后验概率∝似然函数*先验概率
2. Gamma函数（即Γ函数）
Gamma函数最初的由来，是为了将积分与阶乘联系到一起。哥德巴赫向伯努利兄弟写信请教，最终由当时在场的欧拉在22岁时提出Gamma函数解决。
Gamma函数的数学表示为：
。
这里不再进行积分推导，直接给出Gamma函数的几个性质：
①. 当a为正整数时，
。
②. 
。
③. 
。
二.重要分布
1. 二项分布
二项分布，即进行n次伯努利实验的概率分布。表示为B~(n,p)。n为实验次数，p为成功概率。
举例：经典的抛硬币问题，即一个简单的二项分布。二项分布只有两个结果，如果我们抛十次硬币，将抛正面记为成功，反面记为失败，则该分布即可表示为B~(10,0.5)。（假设正面反面概率均为0.5）
可以得到，
。
相应，可以认为抛硬币结果有4次正面的概率计算为
。
2. 多项式分布
多项式分布，可以简单理解成对于二项分布的展开。
我们将二项分布中，只有正反这两个结果的情况改变。
①例如，有一个箱子，里面有n个除了颜色都相同的球，其中颜色共有红、橙、黄、绿、青、蓝、紫七种，则假设不同颜色球的个数分别为：
。
所以从中取出某颜色的球的概率就分别为：。
故，假设从中取球N次，且观察颜色后放回，在共N次观测中，挂测到
次红球、
次橙球、
次黄球、
次绿球、
次青球、
次蓝球、
次紫球的概率（
）。
这就是一个典型的多项式分布问题。类似这个问题我们进行如下定义：
② 多项式分布的定义：设一个随机事件共可能出现d种情况，且每种情况
出现的概率为
，且
。故在N次独立事件中出现
次的概率。（其中
）
得到最后概率函数：。
有兴趣可以对上面抓球的问题简单理解一下，这里不写了。
3. 贝塔分布（Beta分布）
①.首先介绍贝塔函数：
。这个函数就是一个调节参数，为了使最后的函数积分为1而设置。
②.贝塔分布（Beta distribution）:对于连续随机变量![\mu\in [0,1]](http://img.e-com-net.com/image/info8/3dc523dfeea14a2fa3ca1f3968de3df0.gif){kind=small}
，其概率密度函数如下(其中a>0、b>0)：
。
当a=b=1时，B(a,b)=1该分布化为均匀分布。
对于贝塔分布，可得到期望：![E[\mu]=\frac{a}{a+b}](http://img.e-com-net.com/image/info8/58168ccb125043ab9b98007ef4f45697.gif){kind=small}
，方差：![var[\mu]=\frac{ab}{(a+b)^{2}(a+b+a)}](http://img.e-com-net.com/image/info8/f48e02a7d54a48e7b1f75b8cafa69acf.gif){kind=small}
。
4. 狄利克雷分布（Dirichlet分布）
类似于二项分布向多项式分布的扩展，狄利克雷分布也是有贝塔分布演化而来。我们将连续变量从1个增加到d个，分别定义为![\mu_{1},\mu_{2}...\mu_{d}\in[0,1]](http://img.e-com-net.com/image/info8/d10651b85b6c41aa99de464f24fe5eb5.gif){kind=small}
，且。参数由a、b两个增加到d个参数，分别为
。
定义
、
、
。
故可以给出狄利克雷分布的概率：
对于狄利克雷分布，可得到期望：![E[\mu_{i}]=\frac{\alpha_{i}}{\widehat{\alpha }}](http://img.e-com-net.com/image/info8/107f5f822a7c4e609bf989bf3a3ad888.gif){kind=small}
，方差：，协方差：
三.共轭先验分布
本篇笔记的最终目的就是为了理解这个概念。这个概念将用到最终LDA模型中。
首先给出共轭先验分布的定义：如果先验分布和似然函数可以使得先验分布和后验分布有相同的形式，那么就称先验分布与似然函数是共轭的。
这样说比较抽象，举个例子：
假设：①.对于随机变量θ，其先验分布符合Be贝塔分布，即：
②.似然函数满足二项分布，即：
根据假设①、②计算后验概率（参考一中贝叶斯公式）得到：
后验概率符合贝塔分布形式，故设
，
。
得：
可知后验概率 
也符合贝塔分布，即。
结论：从上述过程可以看到先验分布及后验分布均符合贝塔分布，
★故：先验分布符合的贝塔分布与似然函数符合的二项分布互为共轭先验分布。
★拓展：多项式分布与狄利克雷分布互为共轭先验分布。在此不再证明，有空在更新。
可能上述过程存在表达上的小错误，但是大部分思路应该是没有问题，如果有问题欢迎指出一起讨论。
在创作过程中参考了以下前辈的知识，故若有地方不明白可以前往连接中博客：
https://www.jianshu.com/p/bb7bce40a15a
https://blog.csdn.net/jiangjiang_jian/article/details/81346797