决策理论(decision theory)

决策理论(decision theory)

决策论背后的核心思想是最小化期望损失
定义清楚期望损失,问题就转变成最优化问题,带入优化器,就迎刃而解了。
这里例举一个垃圾邮件过滤的例子,
要预测垃圾邮件 x x 是模型的输入变量, y y 为观察值, y^ y ^ 是模型的预测值,
令0代表垃圾邮件,1代表非垃圾邮件。

# 实际值 y=0 y = 0 (垃圾邮件) 实际值 y=1 y = 1 (非垃圾邮件)
预测值 y^=0 y ^ = 0 (垃圾邮件) 0 100
预测值 y^=0 y ^ = 0 (非垃圾邮件) 1 0

上面是为过滤垃圾邮件设计的混淆矩阵,其中数值表示损失函数的权重,数值100所在的格子代表非垃圾邮件被分类器分为垃圾邮件,这种情况是不能忍受的,会导致我们看不到有用的邮件,所以损失函数被赋予较高的权重。
下面看两个常见的损失函数定义
“0-1损失”:

L(y,y^)=I(yy^)={01ify=y^else L ( y , y ^ ) = I ( y ≠ y ^ ) = { 0 i f y = y ^ 1 else

“平方损失”
L(y,y^)=(yy^)2 L ( y , y ^ ) = ( y − y ^ ) 2

你可能感兴趣的:(机器学习)