最大似然估计，交叉熵，相对熵(KL散度)

在机器学习中，选择损失函数时，通常会遇到交叉熵的概念，也就是交叉熵损失函数，那么我们知道最小化交叉熵损失函数等价于最大化对数似然，那么最小化交叉熵损失函数其含义是怎么样本的？我们知道针对分类问题，我们并不知道Y的真实分布，因此需要通过模型来估计Y的真实分布，以逻辑回归为例，假设Y的真实分布为：P(Y=1)=p;P(Y=0)=1-p,而我们用来估计的P’(Y=1)=q,P’(Y=0)=1-q;通常q=11+exp(−xβ), 我们需要做的就是估计参数β,使得P和P’之间的差异尽可能小，描述两个分布差异大小的量我们可以使用相对熵 即 EP(−logP′)−EP(−logP)，那么这个EP(−logP′)便是交叉熵，最小化相对熵等价于最小化交叉熵，因为EP(−logP)是常数（尽管不知道）,而EP(−logP′),可以做样本估计−∑iP(Yi=1)logq+P(Yi=0)log(1−q)=∑ilogYq+(1−Y)log(1−q)