如何选择 损失函数 Loss Function

如何选择损失函数

1.交叉熵 CrossEntropy

交叉熵与熵相对， 如同协方差与方差

熵考察的是单个的信息（分布）的期望：

H(p)=−∑i=1np(xi)logp(xi)

交叉熵考察的是两个信息的（分布）的期望

H(p,q)=−∑i=1np(xi)logq(xi)

2.交叉熵代价函数

LH(x,z)=−∑k=1dxklogzk+(1−xk)log(1−zk)

3.KL散度

KL散度和交叉熵都是衡量两个分布之间的性质，不同的是，交叉熵针对的是原始信号 (xk) 和其重构信号 (zk) ，而KL散度是：

H(ρ||ρ^)=−∑j=1m[ρjlogρ^j+(1−ρj)log(1−ρ^j)]

其中： ρ^=1k∑ki=1hi (遍历的是层内的所有输出， ∑j=1m则是遍历所有的层 )