学习笔记二

监督学习

1. 标注一个数据集 = , =1 梯度下降方法 + 针对视觉问题的技巧和策略

2. 定义损失函数 : 0,1 × ℕ → ℝ,衡量单个预测结果的"好/坏"

3. 解一个最优化问题,寻找使得总损失最小的参数 Θ ∗

学习笔记二_第1张图片 

交叉熵损失 Cross-Entropy Loss 

对于预测的类别概率 ∈ 0,1 和类别真值 ∈ 1, … , ,定义交叉熵损失为:

, = − log

学习笔记二_第2张图片

 

当预测准确时,即 = 0, 0, … , 1, … , 0 时,损失为 0

否则损失随目标类别概率 减小而增大

更一般地,对于两个概率向量 , ∈ 0,1 , 相对于 的交叉熵定义为:学习笔记二_第3张图片

 

你可能感兴趣的:(人工智能,深度学习)