监督学习
1. 标注一个数据集 = , =1 梯度下降方法 + 针对视觉问题的技巧和策略
2. 定义损失函数 : 0,1 × ℕ → ℝ,衡量单个预测结果的"好/坏"
3. 解一个最优化问题,寻找使得总损失最小的参数 Θ ∗
交叉熵损失 Cross-Entropy Loss
对于预测的类别概率 ∈ 0,1 和类别真值 ∈ 1, … , ,定义交叉熵损失为:
, = − log
当预测准确时,即 = 0, 0, … , 1, … , 0 时,损失为 0
否则损失随目标类别概率 减小而增大
更一般地,对于两个概率向量 , ∈ 0,1 , 相对于 的交叉熵定义为: