线性分类器---损失函数与优化算法

如何衡量分类器对当前样本的效果好坏？

需要损失函数

什么是损失函数？

损失函数搭建了模型性能与模型参数之间的桥梁，指导
模型参数优化。
 损失函数是一个函数，用于度量给定分类器的预测值与真实值
的不一致程度，其输出通常是一个非负实值。
 其输出的非负实值可以作为反馈信号来对分类器参数进行调整，
以降低当前示例对应的损失值，提升分类器的分类效果。

因为我们线性分类模型都是预测 多个不同类别

多类支撑向量机损失

• 正确类别的得分比不正确类别高出1分，就没有损失
• 否则，就会产生损失

对于鸟的损失

对于猫的损失

对于车的损失

正则项

L1 正则项

L2正则项

示例

优化算法目标

什么是参数优化？
参数优化是机器学习的核心步骤之一，它利用损失
函数的输出值作为反馈信号来调整分类器参数，以提升
分类器对训练样本的预测性能。

 数值梯度: 近似, 慢, 易写
 解析梯度: 精确, 快, 易错

数值梯度有什么作用？
答：求梯度时一般使用解析梯度，而数值梯度主要用于解析梯度的正确性校验（梯度检查）