似然函数个人理解

以前上学的时候对似然函数什么的一看到就头疼，最近专门研究了一下，写一下自己的总计，后序会是与似然函数先骨干的GMM和HMM的总结。

经典理解： 
设总体的概率模型为F(x|θ)。为了说明的方便，暂假定只有一个未知参数，X1，X2，……，Xn是容量为 n 的随机样本（大写X），实际观测到的样本观测值（小写x）为 Xl=x1，X2=x2，……，Xn=xn 。把同各Xi对应的密度函数或概率函数(包括作为未知数的未知参数)的连乘积看成是未知参数的函数，称其为似然函数(Likelihood function)。

令L(θ|x)=f(x|θ) 
这个等式表示的是对于事件发生的两种角度的看法。其实等式两遍都是表示的这个事件发生的概率或者说可能性。再给定一个样本x后，我们去想这个样本出现的可能性到底是多大。统计学的观点始终是认为样本的出现是基于一个分布的。那么我们去假设这个分布为f，里面有参数theta。对于不同的theta，样本的分布不一样。f(x|θ)表示的就是在给定参数theta的情况下，x出现的可能性多大。L(θ|x)表示的是在给定样本x的时候，哪个参数theta使得x出现的可能性多大。所以其实这个等式要表示的核心意思都是在给一个theta和一个样本x的时候，整个事件发生的可能性多大。

似然函数(shù)：似然则用来描述已知随机变量输出结果时，未知参数的可能取值

似然函数的重要性不是它的具体取值，而是当参数变化时函数到底变小还是变大。对同一个似然函数，如果存在一个参数值，使得它的函数值达到最大的话，那么这个值就是最为“合理”的参数值。 
最大似然函数： 
是指找出一个（θ）的组合，使得L（θ）=L（x1,x2,…,xn；θ）=ΠP（xi；θ）最大化，即使得样本数据出现的概率最大化 
似然函数取得最大值表示相应的参数能够使得统计模型最为合理 
从这样一个想法出发，最大似然估计的做法是：首先选取似然函数（一般是 概率密度函数或概率质量函数），整理之后求最大值。实际应用中一般会取似然函数的对数作为求最大值的函数，这样求出的最大值和直接求最大值得到的结果是相同的

似然比检验 
似然比检验是利用似然函数来检测某个假设（或限制）是否有效的一种检验。一般情况下，要检测某个附加的参数限制是否是正确的，可以将加入附加限制条件的较复杂模型的似然函数最大值与之前的较简单模型的似然函数最大值进行比较。如果参数限制是正确的，那么加入这样一个参数应当不会造成似然函数最大值的大幅变动。一般使用两者的比例来进行比较，这个比值是卡方分配

似然函数的参数： 
一般的，出现在说明中一个已命名的系数向量中的每一个元素都将被视为待估参数。由于说明中的已命名的系数向量的所有元素都将被视为待估参数，所以必须确定所有的系数确实能影响一个或多个似然贡献的值。如果一个参数对似然没有影响，那么在进行参数估计时，将遇到一个奇异错误。而除了系数元素外所有的对象在估计过程中都将被视为固定的，不可改变的。

说白了就是给你一堆数据（x），让你求一个模型这个模型（参数是theta），使得由这个模型得到的x的观测的概率是最大的。反过来说就是给你一个模型，这个模型能得到x的概率要最大，要不然这个模型肯定性能不好。

求最大似然函数预计值的一般步骤： 
（1）写出似然函数； 
（2）对似然函数取对数，并整理； 
（3）求导数，令导数为0，得到似然方程； 
（4）解似然方程，得到的參数即为所求；

另一种说法： 
最大似然预计你能够把它看作是一个反推。多数情况下我们是依据已知条件来推算结果，而最大似然预计是已经知道了结果，然后寻求使该结果出现的可能性最大的条件，以此作为预计值。比方，假设其它条件一定的话，抽烟者发生肺癌的危急时不抽烟者的5倍，那么假设如今我已经知道有个人是肺癌，我想问你这个人抽烟还是不抽烟。你怎么推断？你可能对这个人一无所知，你所知道的仅仅有一件事，那就是抽烟更easy发生肺癌，那么你会推測这个人不抽烟吗？我相信你更有可能会说，这个人抽烟。为什么？这就是“最大可能”，我仅仅能说他“最有可能”是抽烟的，“他是抽烟的”这一预计值才是“最有可能”得到“肺癌”这种结果。这就是最大似然预计。

http://blog.csdn.net/expleeve/article/details/50466602 似然函数 （最重要的） 
http://blog.csdn.net/zbc1090549839/article/details/38540627 从极大似然函数到EM算法 (这个讲的一般，但是把似然和EM联系到了一起，也就是说给出了一中迭代求解最佳模型的方法) 
https://www.cnblogs.com/zfyouxi/p/4297500.html 从最大似然到EM算法浅解