杂七杂八基础类（学习笔记）

似然函数

统计学中，似然函数是一种关于统计模型参数的函数。给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：L(θ|x)=P(X=x|θ)。
似然函数在推断统计学（Statistical inference）中扮演重要角色，尤其是在参数估计方法中。在教科书中，似然常常被用作“概率”的同义词。但是在统计学中，二者有截然不同的用法。概率描述了已知参数时的随机变量的输出结果；似然则用来描述已知随机变量输出结果时，未知参数的可能取值。例如，对于“一枚正反对称的硬币上抛十次”这种事件，我们可以问硬币落地时十次都是正面向上的“概率”是多少；而对于“一枚硬币上抛十次”，我们则可以问，这枚硬币正反面对称的“似然”程度是多少。

累乘

累乘符号是∏，是希腊字母π的大写读pai，在数学上通常表示连乘,，小写π就表示圆周率。就像Σ表示连加。
“∏”代表“求乘积”，上下添加的为求乘积的初始值和终止值，例如：符号下面可写“i=1”，上面写“n”，就代表后面的求积式子中的i从1开始一直加到n。

对数似然函数

涉及到似然函数的许多应用中，更方便的是使用似然函数的自然对数形式，即“对数似然函数”。求解一个函数的极大化往往需要求解该函数的关于未知参数的偏导数。由于对数函数是单调递增的，而且对数似然函数在极大化求解时较为方便，所以对数似然函数常用在最大似然估计及相关领域中。例如：求解Gamma分布中参数的最大似然估计问题：
假定服从Gamma分布的随机变量 具有两个参数 和 ，考虑如下似然函数

如果想从输出 中估计参数 ，直接求解上式的极大化未免有些难度。在取对数似然函数后，

再取关于 的偏导数等于0的解，

最终获得 的最大似然估计

当存在一组独立同分布的样本 时，

故而

其中， 。 [1]