交叉熵概念

熵

信息量

概率可能性的投影空间大小，单位比特。记随机离散变量的分布列与信息量I为：
$$\begin{array}{rl}& \left[\begin{array}{cccc}{x}_0& x_1& ...& x_n\\ p_0& p_1& ...& p_n\end{array}\right]\\ & \\ & I(x_i)=-log(p(x_i))\end{array}$$

熵

熵(Entropy)：一个系统所有事件的不确定性之和；
相对熵(Relative Entropy)：同一个随机变量的两个不同分布间的差别描述；
交叉熵(Cross Entropy)：使用分布$q(x)$表示目标分布$p(x)$的困难程度，以分布$q$描述拟合分布$p$。
$$\begin{array}{rl}H(x)& =E(Le{n}_{bit})=E(log(\frac{1}{p_i}))=-\sum _{i=1}^n{p}_{i}log(p_i)\\ D_{KL}(p||q)& =\sum _{i=1}^n{p}_{i}log(\frac{p_i}{q_i})=\sum _{i=1}^n{p}_i(log(p_i)-log(q_i))\\ H(p,q)& =E(Le{n}_{bit})=E(log(\frac{1}{q_i}))=-\sum _i{p}_{i}log(q_i)\end{array}$$