极大似然估计与逻辑回归的交叉熵

1 极大似然估计

（1）示例

（2）原理

  上面示例的依据是：什么样的原因最有可能让事件A发生，而不是让事件B或事件C发生，那么这个原因就是真实的原因。
  通俗理解来说，就是利用已知的样本的结果信息，反推最具有可能（最大概率）导致这些样本结果出现的原因，在极大似然估计中，所谓的“原因”指的是模型参数值！换句话说，极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。

  极大似然估计，是通过一部分数据，去分析整体模型的数学方法。说白了，就是用局部去分析整体，因为局部数据可以实验得到，而整体量太大，无法得到，例如统计国民身高，居民收入等等。还有一个条件必须也知道，就是整体的分布，是二项分布还是正态分布等等。
        ——参考自知乎专栏：https://zhuanlan.zhihu.com/p/336732860

  上面100个球抽样的示例，整体的分布就是二项分布（随机变量是“抽到白球的个数”），未知参数是每次抽样白球抽到的概率p。

  再介绍一个极大似然估计的应用：

  假设我们要统计全国人民的年均收入，首先假设这个收入服从服从正态分布，但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的收入。我们国家有10几亿人口呢，那么岂不是没有办法了？
  不不不，有了极大似然估计之后，我们可以采用嘛！我们比如选取一个城市，或者一个乡镇的人口收入，作为我们的观察样本结果。然后通过最大似然估计来获取上述假设中的正态分布的参数。
  有了参数的结果后，我们就可以知道该正态分布的期望和方差了。也就是我们通过了一个小样本的采样，反过来知道了全国人民年收入的一系列重要的数学指标量！那么我们就知道了极大似然估计的核心关键就是对于一些情况，样本太多，无法得出分布的参数值，可以采样小样本后，利用极大似然估计获取假设中分布的参数值。

作者：忆臻
链接：https://www.zhihu.com/question/24124998/answer/161722781
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

（3）计算

  似然函数经常由于过于复杂对求导造成困难，这个时候可以先对其求对数

2 逻辑回归的交叉熵

  逻辑回归模型经常使用交叉熵作为其损失函数，它的原理是什么？


  逻辑回归的损失函数之所以是交叉熵，就是用极大似然估计退出来的，利用已知的样本的结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数。