作业

2-1

分析为什么平方损失函数不适用于分类问题 , 交叉熵损失函数不适用于回归问题.
对于同一个随机变量x的两个分布p(x)和q(x)之间的差异。在机器学习中，p(x)常用于描述样本的真实分布，例如[1,0,0,0]表示样本属于第一类，而q(x)则常常用于表示预测的分布，例如[0.7,0.1,0.1,0.1]。显然使用q(x)来描述样本不如p(x)准确，q(x)需要不断地学习来拟合准确的分布p(x)。
交叉熵损失函数：
$$L(x)=-\sum _{i=1}^{n}p\left(x_i\right)\log \left(q\left(x_i\right)\right)$$
平方损失函数：
$$L(x)=\frac{1}{N}\sum _{i=1}^N{\left(y_i-{\hat{y}}_i\right)}^2$$
交叉熵的损失函数只和分类正确的预测结果有关系，而MSE的损失函数还和错误的分类有关系，该分类函数除了让正确的分类尽量变大，还会让错误的分类变得平均，但实际在分类问题中这个调整是没有必要的。但是对于回归问题来说，这样的考虑就显得很重要了。所以，回归问题熵使用交叉上并不合适。

2-12

对于一个三分类问题 ， 数据集的真实标签和模型的预测标签如下 ：

真实标签	1	1	2	2	2	3	3	3	3
预测标签	1	2	2	2	3	3	3	1	2

精确率（查准率）：
$P=\frac{TP}{TP+FP}$
$P_1=\frac{T{P}_1}{T{P}_1+F{P}_1}=\frac{1}{1+1}=\frac{1}{2}$
$P_2=\frac{T{P}_2}{T{P}_1+F{P}_2}=\frac{2}{2+2}=\frac{1}{2}$
$P_3=\frac{T{P}_3}{T{P}_3+F{P}_3}=\frac{2}{2+1}=\frac{2}{3}$
召回率（查全率）：
$R=\frac{TP}{TP+FN}$
$R_1=\frac{T{P}_1}{T{P}_1+F{N}_1}=\frac{1}{1+1}=\frac{1}{2}$
$R_2=\frac{T{P}_2}{T{P}_2+F{N}_2}=\frac{2}{2+1}=\frac{2}{3}$
$R_3=\frac{T{P}_3}{T{P}_3+F{N}_3}=\frac{2}{2+2}=\frac{1}{2}$
F1值（综合评价指标）：

F1值是精确率和召回率的加权调和平均。

为了满足人们查全率与查准率的不同偏好，F1度量的一般形式为$F_{\beta }$
$F_{\beta }=\frac{\left(1+{\beta }^2\right)\times P\times R}{\left({\beta }^2\times P\right)+R}$
其中$\beta$>0度量了查全率对查准率的相对重要性。$\beta$=1时退化为标准的F1；$\beta$>1时查全率影响更大，$\beta$<1时查准率影响更大 。

这道题令\beta=1
$F_{\beta 1}=\frac{\left(1+{\beta }_1^2\right)\times P_1\times R_1}{\left({\beta }_1^2\times P_1\right)+R_1}=\frac{1}{2}$
$F_{\beta 2}=\frac{\left(1+{\beta }_2^2\right)\times P_2\times R_2}{\left({\beta }_2^2\times P_2\right)+R_2}=\frac{4}{7}$
宏平均（每一类性能指标的算术平均）:
$F_{\beta 3}=\frac{\left(1+{\beta }_3^2\right)\times P_3\times R_3}{\left({\beta }_3^2\times P_3\right)+R_3}=\frac{4}{7}$
$P_{macro}=\frac{1}{n}{\sum }_{i=1}^n{P}_i=\frac{5}{9}$

$R_{macro}=\frac{1}{n}{\sum }_{i=1}^n{R}_i=\frac{5}{9}$

$F_{\beta macro}=\frac{2\times P_{micro}\times R_{micro}}{P_{micro}+R_{micro}}=\frac{5}{9}$
微平均（每个样本的性能指标的算术平均值）:
$P_{micro}=\frac{{\sum }_{i=1}^{n}T{P}_i}{{\sum }_{i=1}^{n}T{P}_i+{\sum }_{i=1}^{n}F{P}_i}=\frac{5}{9}$

$R_{micro}=\frac{{\sum }_{i=1}^{n}T{P}_i}{{\sum }_{i=1}^{n}T{P}_i+{\sum }_{i=1}^{n}F{N}_i}=\frac{5}{9}$

$F_{\beta micro}=\frac{2\times P_{micro}\times R_{micio}}{{\beta }^2\times P_{micro}+R_{micro}}=\frac{5}{9}$
心得：学会编辑公式可以方便写论文和正式一些的文章，可以借助LaTeX导出PDF等。