[2022-09-14]神经网络与深度学习 hw1

nndl第一次作业（P52 2-1,2-12)

一、分析为什么平方损失函数不适用于分类问题？

答：

• 1.平方损失函数通过计算预测值和真实值的偏差程度来计算误差，并且通过在高斯分布的数据上进行极大似然估计，先然适合回归问题；分类问题的分布一般来说并不适合平方损失计算；
• 2.分类问题的数据并非连续的关系，通过计算平方得到的误差大小实际上并不能反映偏差大小，因此损失大小反映的偏差程度难以确定；
• 3.分类问题的函数并不是凸函数，会导致陷入局部最小点，难以优化。

二、对于一个三分类问题，数据集的真实标签和模型的预测标签如下：

真实标签	1	1	2	2	2	3	3	3	3
预测标签	1	2	2	2	3	3	3	1	2

分别计算模型的精确率、召回率、F1值以及它们的宏平均和微平均。
解：设TP为真正例，TN为真负例，FP为假正例，FN为假负例。$Precision$为精确率，$Recall$为召回率，$F1$为F1值。

• 1.以类别1为正例，其他为负例，可得：
  $$\begin{gathered} TP=1,TN=6,FP=1,FN=1, \\ Precisio{n}_1=\frac{1}{1+1}=\frac{1}{2}, \\ Recal{l}_1=\frac{1}{1+1}=\frac{1}{2}, \\ F{1}_1=\frac{2\ast \frac{1}{2}\ast \frac{1}{2}}{\frac{1}{2}+\frac{1}{2}}=\frac{1}{2} \end{gathered}$$

• 2.以类别2为正例，其他为负例，可得
  $$\begin{gathered} TP=2,TN=4,FP=2,FN=1, \\ Precisio{n}_2=\frac{2}{2+2}=\frac{1}{2} \\ Recal{l}_2=\frac{2}{2+1}=\frac{2}{3}, \\ F{1}_1=\frac{2\ast \frac{1}{2}\ast \frac{2}{3}}{\frac{1}{2}+\frac{2}{3}}=\frac{4}{7} \end{gathered}$$

• 3.以类别3为正例，其他为负例，可得
  $$\begin{gathered} TP=2,TN=4,FP=1,FN=2, \\ Precisio{n}_3=\frac{2}{2+1}=\frac{2}{3}, \\ Recal{l}_3=\frac{2}{2+2}=\frac{1}{2}, \\ F{1}_1=\frac{2\ast \frac{2}{3}\ast \frac{1}{2}}{\frac{2}{3}+\frac{1}{2}}=\frac{4}{7} \end{gathered}$$

• 综合上述三种情况可得宏平均：
  $$\begin{gathered} Macr{o}_P=\frac{1}{3}\sum Precisio{n}_i=\frac{5}{9}, \\ Macr{o}_R=\frac{1}{3}\sum Recal{l}_i=\frac{5}{9}, \\ Macr{o}_{F1}=\frac{2\ast Macr{o}_P\ast Macr{o}_R}{Macr{o}_P+Macr{o}_R}=\frac{5}{9} \end{gathered}$$
  微平均：
  $$\begin{gathered} Micr{o}_P=\frac{\sum TP}{\sum TP+\sum FP}=\frac{5}{9}, \\ Micr{o}_R=\frac{\sum TP}{\sum TP+\sum FN}=\frac{5}{9}, \\ Micr{o}_{F1}=\frac{2\ast Micr{o}_P\ast Micr{o}_R}{Micr{o}_P+Micr{o}_R}=\frac{5}{9} \end{gathered}$$

综上。