交叉熵

1. 熵


2. 相对熵(KL散度)

P为样本的真实分布,比如[1,0,0]表示当前样本属于第一类。Q用来表示模型所预测的分布,比如[0.7,0.2,0.1] 。如果相对熵的值很小,那我们认为q的分布近似于p。以下为相对熵的公式,其中n表示类别


3. 交叉熵

交叉熵适用于逻辑分类问题

将相对熵变形可得到

前一部分是p的熵,后一部分是交叉熵

你可能感兴趣的:(交叉熵)