回归类的模型评估指标R2

先来看一组代码:

import numpy as np
rng = np.random.RandomState(42)
X = rng.randn(100, 80)
y = rng.randn(100)
cross_val_score(LR(), X, y, cv=5, scoring='r2')

运行结果

array([-179.12952605,   -5.692624  ,  -15.61747513,  -78.68042858,
        -59.5311006 ])

sklearn真的是设置了太多障碍，均方误差是负的，R²也是负的，这个名字里都带平方了，居然是负的，无论如何，再来看看的计算公式：
$$R^2=1-\frac{{\sum }_{i=0}^m(y_i-{\hat{y}}_i{)}^2}{{\sum }_{i=0}^m(y_i-{\bar{y}}_i{)}^2}=1-\frac{RSS}{{\sum }_{i=0}^m(y_i-{\bar{y}}_i{)}^2}$$
第一次学习机器器学习或者统计学的，可能会感觉没什么问题了， 是1减一个数，后面的部分只要大于1的话完全可以小于0。但是学过机器器学习，尤其是在统计学上有基础的可能会坐不住了：这不对啊！
一直以来，众多的机器学习教材中都有这样的解读：除了RSS之外，还有平方和ESS（Explained Sum of Squares，也叫做SSR回归平方和）以及总离差平方和TSS（Total Sum of Squares，也叫做SST总离差平方和）。
平方和ESS定义了预测值和样本均值之间的差异，而总离差平方和定义了真实值和样本均值之间的差异（就是R²中的分母），两个指标分别写作：
$$TSS=\sum _{i=0}^m(y_i-{\bar{y}}_i{)}^2$$
$$ESS=\sum _{i=0}^m({\hat{y}}_i-{\bar{y}}_i{)}^2$$
而公式：
$$TSS=RSS+ESS$$
看R²的公式，如果带入TSS和ESS，就有：
$$R^2=1-\frac{RSS}{TSS}=\frac{TSS-RSS}{TSS}=\frac{ESS}{TSS}$$
而ESS和TSS都带平方，所以必然都是正数，R^2怎么可能是负的呢？
因为，公式TSS = RSS + ESS不是永远成立，如何证明：
$$\begin{gathered} TSS=\sum _{i=0}^m(y_i-{\bar{y}}_i{)}^2 \\ =\sum _{i=0}^m(y_i-{\hat{y}}_i+{\hat{y}}_i-{\bar{y}}_i{)}^2 \\ =\sum _{i=0}^m(y_i-{\hat{y}}_i{)}^2+\sum _{i=0}^m({\hat{y}}_i-{\bar{y}}_i{)}^2+2\sum _{i=0}^m(y_i-{\hat{y}}_i)({\hat{y}}_i-{\bar{y}}_i) \\ =RSS+ESS+2\sum _{i=0}^m(y_i-{\hat{y}}_i)({\hat{y}}_i-{\bar{y}}_i) \end{gathered}$$
两边同时除以TSS，则有：
$$1=\frac{RSS}{TSS}+\frac{ESS}{TSS}+\frac{2{\sum }_{i=0}^m(y_i-{\hat{y}}_i)({\hat{y}}_i-{\bar{y}}_i)}{TSS}$$
$$1-\frac{RSS}{TSS}=\frac{ESS+2{\sum }_{i=0}^m(y_i-{\hat{y}}_i)({\hat{y}}_i-{\bar{y}}_i)}{TSS}$$
$$R^2=\frac{ESS+2{\sum }_{i=0}^m(y_i-{\hat{y}}_i)({\hat{y}}_i-{\bar{y}}_i)}{TSS}$$
许多教材和博客中让$2{\sum }_{i=0}^m(y_i-{\hat{y}}_i)({\hat{y}}_i-{\bar{y}}_i)$这个式子为0，公式TSS=RSS+ESS自然就成立了，但要让这个式子成立是有条件的。现在有了这个式子的存在， R²就可以是一个负数了。只要$(y_i-{\hat{y}}_i)$衡量的是真实值到预测值的距离，而$({\hat{y}}_i-{\bar{y}}_i)$衡量的是预测值到均值的距离，只要这两部分的符号不同，式子$2{\sum }_{i=0}^m(y_i-{\hat{y}}_i)({\hat{y}}_i-{\bar{y}}_i)$就有可能为负，而R^2也就有可能为负。
看下面这张图，蓝色的横线是均值线$\bar{y}$，橙色的线是模型$\hat{y}$，蓝色的点是样本点。对于$x_i$，真实标签减预测值的值$(y_i-{\hat{y}}_i)$为正，但我们的预测值减均值的值$({\hat{y}}_i-{\bar{y}}_i)$却是一个负数。
这说明，数据本身的均值，比数据的拟合模型本身更接近数据的真实值，模型就是废的，完全没有作用，类似于分类模型中的分类准确率为50%，不如瞎猜。
就是说，当R²的显示为负，证明模型对数据的拟合非常糟糕，模型完全不能使用。所有，一个负的R²是合理的。当然，现实应用中，如果发现线性回归模型出现负的R²，不代表就要接受：首先，检查建模过程和数据处理过程是否正确，也许原始数据处理不当，也许建模过程存在bug。如果是集成模型的回归，检查弱评估器的数量是否不足，随机森林、提升树这些模型在只有两三棵树的时候很容易出现负的R²。如果检查了所有的代码，也确定了预处理没有问题，但R²还是负的，说明线性回归模型不适合此数据，需要尝试其他算法。