softmax交叉熵损失函数

1.推导

softmax的损失函数推导依然要用到最大似然估计MLE

softmax交叉熵损失函数_第1张图片

m代表有m条样本,k代表k个类别

2.softmax损失函数可以简写成

-\frac{1}{m}\sum_{i=1}^{m}\sum_{j=1}^{k}y_{j}\cdot logp_{j}

逻辑回归LR损失函数可以写成

-\frac{1}{m}\sum_{i=1}^{m}\sum_{j=1}^{2}[y_{ij}\cdot logp_{ij}]

因此由公式可以看出逻辑回归就是损失回归的k=2的时候!!!

你可能感兴趣的:(softmax,机器学习,概率论,机器学习,算法)