【统计学习系列】多元线性回归模型（六）——模型拟合质量评判：RMSE、R方、改进R方、AIC\BIC\SIC

---

1. 前文回顾

在上一篇文章中，我们介绍了参数的显著性检验——t检验，和模型的显著性检验——F检验（详情请见：多元线性回归模型（五）——参数与模型的显著性检验：t检验与F检验）

现在我们来考虑一个新问题：假设一现在两个模型都可以用来拟合因变量，且每个模型的各个参数均显著，那么这两个模型哪个更好呢？有什么指标可以用来比较两个模型孰优孰劣呢？那就让我们带着这个问题继续探索吧。

---

2. 一些引理与离差平方和分解定理（可略）

我将本文需要的一些引理与相关证明放在这一章节中，其中最重要的要属离差平方和分解定理。不感兴趣的小伙伴可以跳过本章的证明过程。

2.1 引理1

【引理1】 样本真值与模型拟合值的残差和为0，即：
$$\sum _{i=1}^N(y_i-\widehat{y_i})=0$$

Proof：

根据对 β₀ 的偏导数为0，即可得证。

Q.E.D.

2.2 引理2

【引理2】样本真值与模型拟合值的残差和为0，即：
$$\forall j\in \{1,2,...,p\},\sum _{i=1}^N{x}_{ij}(y_i-\widehat{y_i})=0$$

Proof:

根据对 β_i 的偏导数为0，即可得证。

Q.E.D.

2.3 引理3

【引理3】
$$\sum _{i=1}^N{\hat{y}}_i(y_i-\widehat{y_i})=0$$

Proof:
$$\begin{gathered} \sum _{i=1}^N{\hat{y}}_i(y_i-\widehat{y_i}) \\ =\sum _{i=1}^N({\hat{\beta }}_0+\sum _{j=1}^p{\hat{\beta }}_j{x}_{i,j})(y_i-\widehat{y_i}) \\ ={\hat{\beta }}_0\sum _{i=1}^N(y_i-\widehat{y_i})+\sum _{j=1}^p{\hat{\beta }}_j\sum _{i=1}^N{x}_{i,j}(y_i-\widehat{y_i}) \end{gathered}$$
由引理1与引理2，即可证得：
$$\sum _{i=1}^N{\hat{y}}_i(y_i-\widehat{y_i})=0$$
Q.E.D.

2.4 平方和分解定理

【离差平方和分解定理】 离差平方和（TSS） = 可解释平方和（ESS） + 残差平方和（RSS），即：
$$\sum _{i=1}^N(y_i-\bar{y}{)}^2=\sum _{i=1}^N(y_i-{\hat{y}}_i{)}^2+\sum _{i=1}^N({\hat{y}}_i-\bar{y}{)}^2$$
Proof:
$$\begin{gathered} \sum _{i=1}^N(y_i-\bar{y}{)}^2 \\ =\sum _{i=1}^N(y_i-{\hat{y}}_i+{\hat{y}}_i-\bar{y}{)}^2 \\ =\sum _{i=1}^N(y_i-{\hat{y}}_i{)}^2+\sum _{i=1}^N({\hat{y}}_i-\bar{y}{)}^2+2\sum _{i=1}^N(y_i-{\hat{y}}_i)({\hat{y}}_i-\bar{y}) \end{gathered}$$
现在，来证明第三项交叉项为0。由引理1和引理3：
$$\begin{gathered} \sum _{i=1}^N(y_i-{\hat{y}}_i)({\hat{y}}_i-\bar{y}) \\ =\sum _{i=1}^N(y_i-{\hat{y}}_i){\hat{y}}_i-\bar{y}\sum _{i=1}^N(y_i-{\hat{y}}_i) \\ =0 \end{gathered}$$
因此：
$$\sum _{i=1}^N(y_i-\bar{y}{)}^2=\sum _{i=1}^N(y_i-{\hat{y}}_i{)}^2+\sum _{i=1}^N({\hat{y}}_i-\bar{y}{)}^2$$
Q.E.D.

---

3. 拟合优度评价指标I——均方根误差（RMSE）

对于拟合模型的好坏，一个简单的想法当然就是模型的残差平方和越低越好。然而，由于残差平方和是 依赖于样本容量 N 的函数，这样会导致不同样本点数拟合出的模型缺乏可比性。因此，我们很自然地想到利用残差平方和的平均值（称为均方根误差）来表现模型拟合的好坏，即：
$$\text{RMSE}=\frac{1}{N-1}\sum _{i=1}^N(y_i-{\hat{y}}_i{)}^2=\frac{RSS}{N-1}$$

从指标的构成上可以看出，RMSE越低，模型的拟合效果越好。

---

4. 拟合优度评价指标II——R方

4.1 R方的定义

要判断哪个模型更好，一个方法就是看哪一个模型更好地拟合了样本，或者说哪一个模型包含了更多的样本信息。那么什么指标可以表示“信息量”呢？

总离差平方和（Total Sum of Square，TSS） 可以看成样本中所包含的“信息量”，而可解释平方（Explained Sum of Square，ESS） 则是回归模型所能解释的“信息量”。而离差平方和分解定理则刚好给了我们一个工具，那就是将总离差平方和分解成了可解释平方和与残差平方和两部分。可解释平方和占总离差平方和比例越高，说明模型所能解释样本信息量的比率越高，模型拟合的效果越好。因此，我们可以构造R方统计量：
$$R^2=\frac{ESS}{TSS}=1-\frac{RSS}{TSS}=\frac{{\sum }_{i=1}^N({\hat{y}}_i-\bar{y}{)}^2}{{\sum }_{i=1}^N(y_i-\bar{y}{)}^2}$$

来表示样本中所含信息量的可解释比例。

若得到的某模型的R方为 x %，则我们可以说模型解释了样本中x %的信息量。

从R方的构造上来看，R方的取值范围为0到1之间。R方越大，说明模型的可解释（方差的）比率越高，模型拟合的越好；R方越小，说明模型拟合效果不佳，样本中包含的信息并没有得到有效的解释。

4.2 R方与F统计量的关系

细心的读者可能已经发现：R方的构造与F统计量有某些十分相似的地方。在这里，作者留一个小小的悬念，感兴趣的小伙伴可以在评论区中自行分析二者之间的关系。（喂，懒得写这块你就直说啊）

4.3 R方为什么叫R方

看到这里，小伙伴可能在想：为什么R²的脑袋上有一个平方“2”呢？其实，R²称为R方是有深意的，因为R方就是R的平方。（这不是废话吗） 那R又是什么？

R其实就是被解释变量样本值与与拟合模型的相关系数。证明如下：
$${\rho }^2(y_i,{\hat{y}}_i)=\frac{{\text{cov}}^2(y_i,{\hat{y}}_i)}{\text{var}(y_i)\text{var}({\hat{y}}_i)}$$$$=\frac{[{\sum }_{i=1}^N(y_i-\bar{y})({\hat{y}}_i-\bar{y}){]}^2}{{\sum }_{i=1}^N(y_i-\bar{y}{)}^2{\sum }_{i=1}^N({\hat{y}}_i-\bar{y}{)}^2}$$
由引理1和引理3：
$${\rho }^2(y_i,{\hat{y}}_i)=\frac{[{\sum }_{i=1}^N(y_i-{\hat{y}}_i+{\hat{y}}_i-\bar{y})({\hat{y}}_i-\bar{y}){]}^2}{{\sum }_{i=1}^N(y_i-\bar{y}{)}^2{\sum }_{i=1}^N({\hat{y}}_i-\bar{y}{)}^2}$$$$=\frac{[{\sum }_{i=1}^N(y_i-{\hat{y}}_i)({\hat{y}}_i-\bar{y})+{\sum }_{i=1}^N({\hat{y}}_i-\bar{y}{)}^2{]}^2}{{\sum }_{i=1}^N(y_i-\bar{y}{)}^2{\sum }_{i=1}^N({\hat{y}}_i-\bar{y}{)}^2}$$$$=\frac{[{\sum }_{i=1}^N({\hat{y}}_i-\bar{y}{)}^2{]}^2}{{\sum }_{i=1}^N(y_i-\bar{y}{)}^2{\sum }_{i=1}^N({\hat{y}}_i-\bar{y}{)}^2}$$$$=\frac{{\sum }_{i=1}^N({\hat{y}}_i-\bar{y}{)}^2}{{\sum }_{i=1}^N(y_i-\bar{y}{)}^2}=R^2$$
即可以定义R：
$$R=\rho (y_i,{\hat{y}}_i)$$

---

5. 拟合优度评价指标III——调整R方

我们已经说明：R方是一个评价拟合好坏的指标。然而，小伙伴可能又发现了一个新问题：当我们保留原有变量，而无脑往模型中添加解释变量时，R方也会越来越高。虽然模型的解释效果更好了，但是我们却加入了过多的解释变量。这有什么不好吗？过多的解释变量会让模型变得复杂，从而让我们很难说明被解释变量与解释变量之间的关系，有些时候（特别是样本数量不足的时候）还会造成“维度灾难”。这怎么办？是不是可以构造衡量拟合“性价比”的指数呢？

一个有效的办法就是在R方中加入一个关于自变量个数 p 的惩罚因子。而 调整R方（Adjusted R-Square, Adj-R²） 就是基于这一思想，在R方的基础上增加了对模型参数个数的惩罚项：

$$\text{Adj-}{R}^2=1-\frac{RSS/(N-p-1)}{TSS/(N-1)}$$$$=1-\frac{N-1}{N-p-1}\cdot \frac{RSS}{TSS}$$

可以看到，当引入的解释变量不断变多（即 p 增加）时，尽管 RSS/TSS 是下降的，但是其前面的比值关于 p 单调递增，从而进一步限制了Adj-R²的进一步增长；换句话说，如果加入的解释变量“性价比不高”，那么在以Adj-R²的判定标准下，引入这一解释变量很可能并不是一个好选择。

---

6. 拟合优度评价指标IV——AIC/BIC/SIC

与改进R方类似，还有一些常用的指标来对解释变量的数量进行“惩罚”。在这一章中，我们就来简单介绍一下这三个变量：赤池信息量（Akaike Information Criterion， AIC），贝叶斯信息量（Bayesian Information Criterion， BIC） 与 施瓦兹信息量（Schwarz Information Criterion， SIC）。

6.1 赤池信息量（AIC）

赤池信息量（AIC） 的定义式为：
$$\text{AIC}=2p-N\cdot \text{ln}(L)$$
其中：p 为解释变量个数；
N 为样本点个数；
L 为似然函数，ln(L)为对数似然函数。

在【统计学习系列】多元线性回归模型（二）——模型的参数估计I：点估计 这篇文章中，我们已经给出了对数似然函数的表达式。在得到ML估计量 σ^² 和 β^ 后带入到对数似然函数中，即可得到如下的表达式：

$$\text{AIC}=2p+N\cdot \text{ln}(\frac{\text{RSS}}{N})$$

可以看到，AIC指标分别是关于解释变量个数 p 和残差平方和平均值 RSS/N 的递增函数。我们可以认为，AIC指标引入了对解释变量个数 p 的“惩罚”：即便 p 较大时残差平方和很低，但是在AIC的意义下较大的 p 本身却增加了模型拟合的代价，这一点是我们不愿意看到的。AIC越小，则说明模型可以被少量的解释变量拟合的较好，模型拟合较为优秀。

注：总的来说，AIC越小越好。

6.2 贝叶斯信息量（BIC）

贝叶斯信息量（BIC） 的定义式为：
$$\text{BIC}=2\text{ln}(N)p-N\cdot \text{ln}(L)$$

在多元回归的表达式为：
$$\text{BIC}=2\text{ln}(N)p+N\cdot \text{ln}(\frac{\text{RSS}}{N})$$

BIC指标在构成上与AIC指标几乎是完全一致，唯一的不同是对 p 的惩罚项前面加上了一个大于1的系数（一般来说N大于3），使得BIC在对 p 的惩罚上面更为严厉。因此，使用BIC准则选择出的最优模型对应的解释变量个数不会高于AIC准则所对应的最优模型。

容易证明，对于相同的 p，BIC > AIC。

注：与AIC一样，BIC越小越好。

6.3 施瓦茨信息量（SIC）

施瓦茨信息量（SIC） 在表达式与AIC、BIC也基本相同，但SIC在三者之间对 p 的惩罚上面最为严厉。

注：与AIC、BIC一样，SIC也是越小越好。

---

写在最后

若想查阅本系列全部文章，请参见目录页：系列文章目录索引。

欢迎感兴趣的小伙伴来跟作者一起挑刺儿~ 包括但不限于语言上的、排版上的和内容上的不足和疏漏~ 一起进步呀！
有任何问题，欢迎在本文下方留言，或者将问题发送至勘误邮箱： [email protected]
谢谢大家！