监督学习
1. 标注一个数据集 = , =1 梯度下降方法 + 针对视觉问题的技巧和策略
2. 定义损失函数 : 0,1 × ℕ → ℝ,衡量单个预测结果的"好/坏"
3. 解一个最优化问题,寻找使得总损失最小的参数 Θ ∗
![](http://img.e-com-net.com/image/info8/fa8c736b6b784f48adb5d794125f511a.jpg)
交叉熵损失 Cross-Entropy Loss
对于预测的类别概率 ∈ 0,1 和类别真值 ∈ 1, … , ,定义交叉熵损失为:
, = − log
![学习笔记二_第2张图片](http://img.e-com-net.com/image/info8/d2f8c5bf744940dab1bc215d958dfb98.jpg)
当预测准确时,即 = 0, 0, … , 1, … , 0 时,损失为 0
否则损失随目标类别概率 减小而增大
更一般地,对于两个概率向量 , ∈ 0,1 , 相对于 的交叉熵定义为:![学习笔记二_第3张图片](http://img.e-com-net.com/image/info8/857addeb7d824781bb819e90fab609b0.jpg)