最大似然函数、交叉熵和经验分布的关系

这是对《deep learning》书中(5.59)式和均方损失是经验分布和高斯模型之间的交叉熵的理解。

经验分布

• 最大似然函数能推导出交叉熵，他们俩本质是一回事，推导的桥梁就是经验分布。对于连续变量，cdf累积经验分布的定义：
  $$p_{data}(x)=\{\begin{array}{ll}0& x<x_1\\ k/n& x_k\le x<x_{k+1}\\ 1& x\ge x_{k+1}\end{array}\text{\hspace{1em}(1)}$$
  其中$x_k$是已经重新按照大小排列过得，但对于连续变量，我们多用其概率密度函数，这需要用到$\mathbf{D}\mathbf{i}\mathbf{r}\mathbf{a}\mathbf{c}delta$函数$\delta (x)$:
  $$\delta (x)=\{\begin{array}{rcl}+\infty & & x=0\\ 0& & x_k̸=0\end{array}$$
  并且$\delta (x)$满足以下概率密度函数的约束：
  $${\int }_{-\infty }^{+\infty }\delta (x)dx=1\text{\hspace{1em}(2)}$$
  $\delta (x)$被定义在除了0以外，所有点的值都为0，但其积分为1，显然这不是正常的积分函数，$\delta (x)$被称为广义函数，广义函数是依据积分性质定义的数学对象。

  依据维基百科，还有下面的性质：
  $${\int }_{-\infty }^{+\infty }f(x)\delta (x)dx=f(0)\text{\hspace{1em}(3)}$$
  现在来定义经验分布的概率密度：
  $$\hat{p}(x)=\frac{1}{N}\sum _{i=1}^N\delta (x-x_i)\text{\hspace{1em}(4)}$$
  可以看出，对于训练集，经验分布将每一个$x_i$的概率${\hat{p}}_{data}(x_i)$定为$1/N$，可以简单的从下式子看出：
  $${\hat{p}}_{data}(x=x_i)={\int }_{-\infty }^{x_i}\frac{1}{N}\sum _{j=1}^N\delta (x_i-x_j)dx={\int }_{-\infty }^{+\infty }\frac{1}{N}\sum _{j=1}^N\delta (x_i-x_j)dx=\frac{1}{N}\text{\hspace{1em}(4-1)}$$
  由此可以得到函数$f(x)$关于经验分布的期望：
  $$\begin{array}{rl}{E}_{x\sim {\hat{p}}_{data}}& ={\int }_{-\infty }^{+\infty }\hat{p}(x)f(x)dx\\ & ={\int }_{-\infty }^{+\infty }\frac{1}{N}\sum _i^N\delta (x-x_i)f(x)dx\\ & =\frac{1}{N}\sum _i^N{\int }_{-\infty }^{+\infty }\delta (x-x_i)f(x)dx\\ & =\frac{1}{N}\sum _i^{N}f(x_i)\end{array}\text{\hspace{1em}(4-2)}$$
  上式中第3步用到了式$(3)$。

  对于离散变量，就简单多了， ${\hat{p}}_{data}(X=x)=v(X=x)/N$ .其中$v(X=x)$表示$x$出现的频数，$N$是样本训练集总数。

关系推导

• 考虑到分类问题（离散型），最大似然估计：
  $$P(X;\theta )=\prod _k{q}^{N\ast p_k}(C_k;\theta )\text{\hspace{1em}(5)}$$
  其中$p_k$是第k类出现的频率，也就是经验分布，对似然估计取$log$似然，再$\frac{1}{N}$，得到：
  $$L=\sum _k(p_k)logq(C_k,\theta )\text{\hspace{1em}(6)}$$
  显然$(3)$式就是交叉熵$H(p,q)=-\int p(x)\log q(x)dx=-{\sum }_k{p}_k\log q_k$

• 考虑回归问题（连续型） ，给定一组含有$N$个样本的$X=\{x_{(1)},...x_{(N)}\}$，$x_i\in R$，独立的由真是数据生成分布$P_{data}$生成，$P_{model}$是一族由$\theta$为参数的概率密度函数$pdf$，用来估计真实的概率密度函数$P_{data}$，最大似然估计：
  $$\begin{array}{rl}{\theta }_{ML}& =\arg \underset{\theta }{\max }\prod _i^N{p}_{model}(x_i;\theta )\\ & =\arg \underset{\theta }{\max }\sum _i^N\log p_{model}(x_i;\theta )\\ & =\arg \underset{\theta }{\max }\frac{1}{N}\sum _i^N\log p_{model}(x_i;\theta )\\ & =\arg \underset{\theta }{\max }{E}_{x\sim p_{data}}\log p(\mathbf{x};\theta )\\ & =\arg \underset{\theta }{\max }-H(p_{data},p_{model})\\ & =\arg \underset{\theta }{\min }H(p_{data},p_{model})\end{array}\text{\hspace{1em}(7)}$$
  以上第3步对上式乘以$\frac{1}{N}$不影响结果，第3步到第4步用到了公式$(4-1)和(4-2)$。从此推导可以看出最大似然估计、交叉熵和经验分布的关系：

  对于概率模型，最大似然估计是训练集上的经验分布和建立在模型上的概率分布之间的交叉熵。

• 考虑这样一个问题：对于连续型问题，为何可以用概率密度来进行最大似然估计？
  $$\begin{array}{rl}P(\mathbf{x};\theta )& ={\int }_{\Omega }p(x^1,...x^N)d{x}^1...d{x}^N\\ & ={\int }_{\Omega }p(x^1)...p(x^N)d{x}^1...d{x}^N\\ & ={\int }_{\Omega }\prod _{i=1}^{N}p(x^i)d{x}^1...d{x}^N\end{array}\text{\hspace{1em}(8)}$$
  $x^i$是$\mathbf{x}$第$i$个位置对应的元素变量，可见要使得$P(\mathbf{x};\theta )$最大化，只要使得积分量${\prod }_{i=1}^{N}p(x^i)$最大即可。

例子：均方损失

在此先要说一下，对于我们遇到的问题，都是输入和输出构成的样本，也就是这样的训练集$\left\{(x_i,y_i),...,(x_N,y_N)\right\}$，上面的分析如何用到这上面？用条件概率$p(y/x;\theta )$来替代上面的$p(x)$即可。

回到当前的讨论：均方损失是经验分布和模型是高斯分布之间的交叉熵，如何分析？

假设样本$iid$，那么条件对数似然乘以$\frac{1}{N}$就是：
$$-H(p_{data},p_{model})=E_{x\sim p_{data}}\log p(\mathbf{x};\theta )=\frac{1}{N}\sum _i^N\log p(y_i/x_i;\theta )=-\frac{1}{N}(\sum _i^N\frac{\Vert {\hat{y}}_i-y_i{\Vert }^2}{2\sigma }-m\log \sigma -\frac{m}{2}\log (2\pi ))\text{\hspace{1em}(9)}$$
均方损失：
$$MS{E}_{train}=\frac{1}{N}\sum _i^N\Vert {\hat{y}}_i-y_i{\Vert }^2$$
可以看出两者是等价的。

参照:《deep learning》