NNDL 作业1:第二章课后习题

习题 2-1 分析为什么平方损失函数不适用于分类问题 , 交叉熵损失函数不适用于回归问题.

          因为分类问题不连续,使用平方损失函数,只要分类错误其loss便相等,没有距离概念,在分类错误的情况下无法判断优化的好坏。 举个例子,若有类型 ,使用one-hot编码, ,无论是预测为 还是 ,loss都一样。 但在实际中,有可能使用decode之后的结果计算。

           当MSE和交叉熵同时应用到多分类场景下时,(标签的值为1时表示属于此分类,标签值为0时表示不属于此分类),MSE对于每一个输出的结果都非常看重,而交叉熵只对正确分类的结果看重。例如:在一个三分类模型中,模型的输出结果为(a,b,c),而真实的输出结果为(1,0,0),那么MSE与cross-entropy相对应的损失函数的值如下:
MSE:
在这里插入图片描述
cross-entropy:
在这里插入图片描述
从上述的公式可以看出,交叉熵的损失函数只和分类正确的预测结果有关系,而MSE的损失函数还和错误的分类有关系,该分类函数除了让正确的分类尽量变大,还会让错误的分类变得平均,但实际在分类问题中这个调整是没有必要的。但是对于回归问题来说,这样的考虑就显得很重要了。所以,回归问题熵使用交叉上并不合适

习题 2-12 对于一个三分类问题 , 数据集的真实标签和模型的预测标签如下 :

分别计算模型的精确率、召回率、F1以及它们的宏平均微平均.  

格式要求:使用公式编辑器,在博客上正确书写公式。

设 Pi,Ri 分别为类别 i 的精确率和召回率

P_1 = \frac{1}{2}R_1 = \frac{1}{2}F^1_1 = \frac{2\frac{1}{2}\frac{1}{2}}{\frac{1}{2}+\frac{1}{2}} = \frac{1}{2}

P_2 = \frac{2}{4} = \frac{1}{2}R_2 = \frac{2}{3}F^1_2 = \frac{2\frac{1}{2}\frac{2}{3}}{\frac{1}{2}+\frac{2}{3}} = \frac{4}{7}

P_3 = \frac{2}{3}R_3 = \frac{2}{4}= \frac{1}{2}F^1_3 = \frac{2\frac{1}{2}\frac{2}{3}}{\frac{1}{2}+\frac{2}{3}} = \frac{4}{7}

宏平均:

P_{macro} = \frac{1}{3}( \frac{1}{2}+ \frac{1}{2}+ \frac{2}{3})= \frac{5}{9}

R_{macro} = \frac{1}{3}( \frac{1}{2}+ \frac{1}{2}+ \frac{2}{3})= \frac{5}{9}

F^{macro}_1 = \frac{2\frac{5}{9}\frac{5}{9}}{\frac{5}{9}+\frac{5}{9}}=\frac{5}{9}

微平均:

P_{micro} = \frac{\frac{1+2+2}{3}}{\frac{2+4+3}{3}} = \frac{5}{9}

R_{micro} = \frac{\frac{1+2+2}{3}}{\frac{2+4+3}{3}} = \frac{5}{9}

F^{micro}_1 = \frac{2\frac{5}{9}\frac{5}{9}}{\frac{5}{9}+\frac{5}{9}} = \frac{5}{9}

P_{micro} = R_{micro} = F^{micro}_1

 

你可能感兴趣的:(深度学习)