【机器学习】似然函数

似然和概率

似然和概率都可以理解为“可能性”，但是它们针对的对象不一样，似然函数是关于Θ的函数，概率密度函数是关于x的函数。比如似然函数定义为：L(Θ|x)，而概率密度函数定义为f(x|Θ)。

假设X的概率密度函数可以定义为：

其中X是离散的随机向量X(x1,x2,…)，表示参数Θ下随机向量X取到x的可能性。
假设：

那么我们可以认为“参数Θ1下随机变量X取值x的可能性”大于“参数Θ2下随机向量X取到值x的可能性”。简单点来说，我们有理由相信Θ1比Θ2更有可能是真实值。

如果X是连续的随机向量，那么概率密度函数f(x|Θ)在x处的概率为0，则概率函数可以定义为：

将约等号右边的等式的2ε约掉就可以发现这跟离散的情况下一致。但是此时似然所表达的，和“概率”无关。
概率密度表达了给定Θ下样本随机变量X=x的可能性，而似然表达了给定样本X=x下参数Θ1（相对于其他可能Θk）为真实值的可能性。

极大似然估计

极大似然估计解决的问题

假设现在样本有很多，并且定义这些样本的数据分布是P(x)。给定一个由参数Θ定义的数据分布P(x|Θ)，希望能求得参数Θ使得P(x|Θ)尽可能接近原始的数据分布P(x)。

极大似然估计的解决方案

1、从样本集中采m个样本。

2、然后计算样本的似然函数

3、计算使得似然函数L最大的参数Θ

具体例子

1、假设有一份数据集大致符合高斯分布，所以我们尝试使用高斯分布拟合这份数据：

2、采样200个数据，用于建立极大似然函数：

3、求解方法，因为L有连乘符号，和exp，所以可以使用对数log