最大似然法、似然函数及对数似然函数

似然函数

统计学中，似然函数是一种关于统计模型参数的函数。表示模型参数中的似然性。

定义：给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：

其中，小x是指联合样本随机变量X取到的值。θ是指未知参数，属于参数空间。

p(x|θ)可以看作有两个变量的函数。
当θ设为常量，则你会得到一个关于x的概率函数(probability function)，对于不同的样本点x，其出现概率是多少；
当x设为常量，你将得到关于θ的似然函数(likelihood function),对于不同的参数θ，出现x这个样本点的概率是多少。

 例：
 - 抛一枚匀质硬币，抛10次，6次正面向上的可能性多大？ 这是概率。
 - 抛一枚硬币，抛10次，结果是6次正面向上，且是匀质的可能性多大？这是似然，求参数。
 
 注：匀质的可能性代表正面向上和反面向上是等可能的，均为0.5。所以上次结果相同。

如何理解最大似然函数？

极大似然估计是指已知某个随机样本满足某种概率分布，利用结果反推出导致结果的参数值。

例：抛一枚硬币，抛10次，结果是6次正面朝上，最大的参数是多少？
注：可以理解成扔一次正面向上的可能性为多少时，在抛10次中，结果是6次正面朝上的概率最大。

最大似然法的步骤：

1. 写出似然函数。
2. 如果无法直接求导的话，对似然函数取对数。
3. 求导数，令导数为0，得到似然方程。
4. 解方程，得到参数结果。

为何使用对数似然函数？

求解一个函数的极大化往往需要求解该函数的关于未知参数的偏导数，但直接求导会使计算变得更为复杂。所以借助对数似然函数。因为对数函数是单调增函数，所以极大值点会相同。

注：概率值是小数，多个连乘的情况下，会导致结果接近于0，此时对似然函数取对数的负数，变成最小化对数似然函数。