神经网络与深度学习 作业1:第二章课后题

习题 2-1 分析为什么平方损失函数不适用于分类问题 , 交叉熵损失函数不适用于回归问题.

 平方损失函数:

L=\frac{1}{2m}\sum_{i=1}^{m}(y-y^{'})^{2}

使用平方损失函数处理分类问题时,由于分类问题的结果是离散值,分类正确的项之间以及分类错误的项之间误差都是一样的,不具有距离的意义,通过计算平方得到的误差大小实际上并不能很好地反映误差大小,且分类问题的函数不是凸函数,会陷入局部最小点,会对优化造成困难。

平方损失函数:

L=-\sum_{i=1}^{n}p(x_{i})log(q(x_{i}))

   交叉熵损失函数之和分类正确的预测结果有关,但回归问题除了要让正确的分类尽量变大,还要让错误的分类变得平均。因此回归问题不适合使用 交叉熵损失函数。

习题 2-12 对于一个三分类问题 , 数据集的真实标签和模型的预测标签如下 :

神经网络与深度学习 作业1:第二章课后题_第1张图片

分别计算模型的精确率、召回率、F1以及它们的宏平均微平均.  

预测结果
正例 反例
真实情况 正例 TP(真正例) FN(假反例)
反例 FP(假正例) TN(真反例)

精准率(查准率): 

 P_{1}=\frac{TP_{1}}{TP_{1} +FP_{1} } =\frac{1}{1+1}=\frac{1}{2}

 P_{2}=\frac{TP_{2}}{TP_{2} +FP_{2} } =\frac{2}{2+2}=\frac{1}{2}

P_{3}=\frac{TP_{3}}{TP_{3} +FP_{3} } =\frac{2}{2+1}=\frac{2}{3}

召回率(查全率): 

R_{1}=\frac{TP_{1}}{TP_{1} +FN_{1} } =\frac{1}{1+1}=\frac{1}{2}

R_{2}=\frac{TP_{2}}{TP_{2} +FN_{2} } =\frac{2}{2+1}=\frac{2}{3}

R_{3}=\frac{TP_{3}}{TP_{3} +FN_{3} } =\frac{2}{2+2}=\frac{1}{2}

F值(精准率和召回率的调和平均): 

F_{1}=\frac{(1+\beta )*P_{1}*R_{1}}{\beta ^{2}*P_{1}+R_{1}}=\frac{2*\frac{1}{2}*\frac{1}{2}}{1*\frac{1}{2}+\frac{1}{2}}=\frac{1}{2}

F_{2}=\frac{(1+\beta )*P_{2}*R_{2}}{\beta ^{2}*P_{2}+R_{2}}=\frac{2*\frac{1}{2}*\frac{2}{3}}{1*\frac{1}{2}+\frac{2}{3}}=\frac{4}{7}

F_{3}=\frac{(1+\beta )*P_{3}*R_{3}}{\beta ^{2}*P_{3}+R_{3}}=\frac{2*\frac{2}{3}*\frac{1}{2}}{1*\frac{2}{3}+\frac{1}{2}}=\frac{4}{7}

 宏平均(每一类性能指标的算术平均):

宏查准率: 

P_{macro}=\frac{1}{n}\sum_{i=1}^{n}P_{i}=\frac{1}{3}*(\frac{1}{2}+\frac{1}{2}+\frac{2}{3})=\frac{5}{9}

宏查全率: 

R_{macro}=\frac{1}{n}\sum_{i=1}^{n}R_{i}=\frac{1}{3}*(\frac{1}{2}+\frac{2}{3}+\frac{1}{2})=\frac{5}{9}

F1: 

F1_{macro}=\frac{2*P_{macro}*R_{macro}}{P_{macro}+R_{macro}}=\frac{2*\frac{5}{9}*\frac{5}{9}}{\frac{5}{9}+\frac{5}{9}}=\frac{5}{9}

 微平均(每个样本的性能指标的算术平均值):

P_{micro}=\frac{ {\textstyle \sum_{i=1}^{n}}TP_{i}}{ {\textstyle \sum_{i=1}^{n}}TP_{i}+ {\textstyle \sum_{i=1}^{n}}FP_{i}}=\frac{1+2+2}{(1+2+2)+(1+2+1)}=\frac{5}{9}

R_{micro}=\frac{ {\textstyle \sum_{i=1}^{n}}TP_{i}}{ {\textstyle \sum_{i=1}^{n}}TP_{i}+ {\textstyle \sum_{i=1}^{n}}FN_{i}}=\frac{1+2+2}{(1+2+2)+(1+1+2)}=\frac{5}{9}

F1_{micro}=\frac{2*P_{micro}*R_{micro}}{\beta ^{2}*P_{micro}+R_{micro}}=\frac{2*\frac{5}{9}*\frac{5}{9}}{\frac{5}{9}+\frac{5}{9}}=\frac{5}{9}

 

参考内容:

平方损失函数与交叉熵损失函数_m_buddy的博客-CSDN博客_平方损失函数 

你可能感兴趣的:(《神经网络与深度学习》课后习题)