深度学习基础 - 最大似然估计
深度学习基础 - 最大似然估计
flyfish
最大似然估计，maximum likelihood estimation简称MLE
In statistics, maximum likelihood estimation (MLE) is a method of
estimating the parameters of a statistical model, given observations.
MLE attempts to find the parameter values that maximize the likelihood
function, given the observations.
MLE是方法
MLE是评估参数的方法
MLE是评估统计模型的参数的方法
MLE是 通过给定观察，评估统计模型的参数 的方法
通顺些是
MLE是给定观察数据来评估模型参数的方法
MLE是给定观察数据来评估模型参数的方法。MLE通过给定观察数据试图通过取似然函数的最大值来找到参数值
最大似然估计是利用已知的样本的结果，在使用某个模型的基础上，反推最有可能导致这样结果的模型参数值。
如果硬币是公平的，那么硬币的参数为0.5
似然是不知道硬币的参数，通过抛硬币结果的数据去评估硬币的参数。
二项分布（Binomial distribution）
在概率论和统计学中，二项分布是n个独立的是/非试验中成功的次数的离散概率分布，其中每次试验的成功概率为p。这样的单次成功/失败试验又称为伯努利试验。实际上，当n = 1时，二项分布就是伯努利分布。二项分布是显著性差异的二项试验的基础。
离散分布，离散有限参数空间（Discrete distribution, finite parameter space）
考虑一个抛硬币的例子。假设这个硬币正面跟反面轻重不同。我们把这个硬币抛80次（即，我们获取一个采样KaTeX parse error: Undefined control sequence: \mbox at position 5: x_1=\̲m̲b̲o̲x̲{H}, x_2=\mbox{…并把正面的次数记下来，正面记为H，反面记为T）。并把抛出一个正面的概率记为pp=，抛出一个反面的概率记为1−p（因此，这里的p即相当于上边的θ）。假设我们抛出了49个正面，31个反面，即49次H，31次T。假设这个硬币是我们从一个装了三个硬币的盒子里头取出的。这三个硬币抛出正面的概率分别为
p=1/3
p=1/2
p=2/3
.这些硬币没有标记，所以我们无法知道哪个是哪个。使用最大似然估计，基于二项分布中的概率质量函数公式，通过这些试验数据（即采样数据），我们可以计算出哪个硬币的可能性最大。这个似然函数取以下三个值中的一个：
P [ H = 49 ∣ p = 1 3 ] a m p ; = ( 80 49 ) ( 1 3 ) 49 ( 1 − 1 3 ) 31 ≈ 0.000 , P [ H = 49 ∣ p = 1 2 ] a m p ; = ( 80 49 ) ( 1 2 ) 49 ( 1 − 1 2 ) 31 ≈ 0.012 , P [ H = 49 ∣ p = 2 3 ] a m p ; = ( 80 49 ) ( 2 3 ) 49 ( 1 − 2 3 ) 31 ≈ 0.054. " {\displaystyle {\begin{aligned}\operatorname {P} {\big [}\;\mathrm {H} =49\mid p={\tfrac {1}{3}}\;{\big ]}&={\binom {80}{49}}({\tfrac {1}{3}})^{49}(1-{\tfrac {1}{3}})^{31}\approx 0.000,\\[6pt]\operatorname {P} {\big [}\;\mathrm {H} =49\mid p={\tfrac {1}{2}}\;{\big ]}&={\binom {80}{49}}({\tfrac {1}{2}})^{49}(1-{\tfrac {1}{2}})^{31}\approx 0.012,\\[6pt]\operatorname {P} {\big [}\;\mathrm {H} =49\mid p={\tfrac {2}{3}}\;{\big ]}&={\binom {80}{49}}({\tfrac {2}{3}})^{49}(1-{\tfrac {2}{3}})^{31}\approx 0.054.\end{aligned}}}" P[H=49∣p=31]P[H=49∣p=21]P[H=49∣p=32]amp;=(4980)(31)49(1−31)31≈0.000,amp;=(4980)(21)49(1−21)31≈0.012,amp;=(4980)(32)49(1−32)31≈0.054."
我们可以看到当 p ^ = 2 / 3 \widehat{p}=2/3 p =2/3时，似然函数取得最大值。这就是p的最大似然估计。
关于组合
从n个不同元素中每次取出m个不同元素（0≤m≤n），不管其顺序合成一组，称为从n个元素中不重复地选取m个元素的一个组合。所有这样的组合的总数称为组合数，这个组合数的计算公式为
与上述的表达方式相同
( n k ) = n ( n − 1 ) ⋯ ( n − k + 1 ) k ( k − 1 ) ⋯ 1 {\binom {n}{k}}={\frac {n(n-1)\dotsb (n-k+1)}{k(k-1)\dotsb 1}} (kn)=k(k−1)⋯1n(n−1)⋯(n−k+1)
C n k = n ! k ! ( n − k ) ! C_n^k=\frac{n!}{k!(n-k)!} Cnk=k!(n−k)!n!