NNDL 第2章习题

习题 2-1 分析为什么平方损失函数不适用于分类问题 交叉熵损失函数不适用于回归问题。

分类问题的结果是离散值,平方损失函数如果用于分类问题,分类正确的误差都是一样的,分类错误的误差都是一样,不具有距离的意义,在分类错误的情况下无法判断优化的好坏。并且平方损失误差还和预测结果错误的样本有联系,在分类问题中只关注分类正确的结果。所以 平方损失函数不适用于分类问题。

交叉熵损失函数针对只分类正确的预测结果,和分类错误的预测结果没有联系,而分类任务中很少考虑分类错误的结果,主要考虑让正确的分类尽可能大。而在回归中,考虑错误的结果就很必要了,需要让回归的函数尽可能满足所有的样本包括错误的样本,所以交叉熵损失函数不适合回归。

习题 2-12 对于一个三分类问题 , 数据集的真实标签和模型的预测标签如下

NNDL 第2章习题_第1张图片

分别计算模型的精确率召回率F1值以及它们的宏平均微平均

 

精确率

P_{c} = \frac{TP_{c}}{TP_{c}+FP_{c}}

P_{1}  = \frac{TP_{1}}{TP_{1}+FP_{1}} = \frac{1}{1+1} = \frac{1}{2}    

P_{2} = \frac{TP_{2}}{TP_{2}+FP_{2}} = \frac{2}{2+2}\frac{1}{2}   

P_{3} = \frac{TP_{3}}{TP_{3}+FP_{3}} = \frac{2}{2+1} = \frac{2}{3}

召回率

R_{c} = \frac{TP_{c}}{TP_{c}+FN_{c}}

R_{1} = \frac{TP_{1}}{TP_{1}+FN_{1}} = \frac{1}{1+1} = \frac{1}{2}

R_{2} = \frac{TP_{2}}{TP_{2}+FN_{2}} = \frac{2}{2+1} = \frac{2}{3}

R_{3} = \frac{TP_{3}}{TP_{3}+FN_{3}} = \frac{2}{2+2} = \frac{1}{2}

F值:令\beta = 1

F = \frac{(1+\beta )*P_{c}*R_{c}}{\beta ^{2}*P_{c}+R_{c}}

F1 = \frac{(1+\beta )*P_{1}*R_{1}}{\beta ^{2}*P_{1}+R_{1}} = \frac{2*\frac{1}{2}*\frac{1}{2}}{1*\frac{1}{2}+\frac{1}{2}} = \frac{1}{2}

 F2 = \frac{(1+\beta )*P_{2}*R_{2}}{\beta ^{2}*P_{2}+R_{2}} = \frac{2*\frac{1}{2}*\frac{2}{3}}{1*\frac{1}{2}+\frac{2}{3}} = \frac{4}{7}

F3 = \frac{(1+\beta )*P_{3}*R_{3}}{\beta ^{2}*P_{3}+R_{3}} = \frac{2*\frac{3}{3}*\frac{1}{2}}{1*\frac{2}{3}+\frac{1}{2}} = \frac{4}{7}

宏平均(Macro-averging)是每一类的性能指标的算术平均值.

 宏查全率

P_{macro} = \frac{1}{C}\sum _{c=1}^{C}\textrm{}P_{c} = \frac{1}{2} + \frac{2}{3} = \frac{5}{9}

宏查准率

R_{macro} = \frac{1}{C} \sum _{c=1}^{C}\textrm{}r_{c} = \frac{1}{3}*(\frac{1}{2}+\frac{1}{2}+\frac{2}{3}) = \frac{5}{9}F1_{macro} = \frac{2*P_{macro}*R_{macro}}{\beta ^{2}*P_{macro}+R_{macro}} = \frac{2*\frac{5}{9}*\frac{5}{9}}{\frac{5}{9}+\frac{5}{9}} = \frac{5}{9}

微平均(Micro-averging)是每一个样本的性能指标的算术平均值.

P_{micro} = \frac{\sum _{c=1}^{C}\textrm{}TP_{c}}{\sum _{c=1}^{C}\textrm{}TP_{c}+\sum _{c=1}^{C}\textrm{}FP_{c}} = \frac{1+2+2}{(1+2+2)+(1+2+1)} = \frac{5}{9}

R_{micro} = \frac{\sum _{c=1}^{C}\textrm{}TP_{c}}{\sum _{c=1}^{C}\textrm{}TP_{c}+\sum _{c=1}^{C}\textrm{}FN_{c}} = \frac{1+2+2}{(1+2+2)+(1+1+2)} = \frac{5}{9}

F1_{micro} = \frac{2*P_{micro}*R_{micro}}{\beta ^{2}*P_{micro}+R_{micro}} = \frac{2*\frac{5}{9}*\frac{5}{9}}{\frac{5}{9}+\frac{5}{9}} = \frac{5}{9}

你可能感兴趣的:(ui,深度学习)