[已解决] 决定系数R2为何为负 from sklearn.metrics import r2_score

最近在炼丹发现一件很有趣的现象，决定系数R2竟然为负，小学生都知道任何一个常数的平方绝不可能为负，潜意识里告诉我这里面必有蹊跷，因此查阅许多资料得知，决定系数R2不是r相关系数的平方这么简单，实际上当非线性模型未捕获任何特征信息，而仅拟合随机噪声就会造成此类现象。

1、定义：

R2 决定系数（Coefficient of Determination）是一种用于评估回归模型拟合优度的指标。它表示模型能够解释数据方差的比例，通常用于比较不同模型的表现。

普遍来讲，R2决定系数的取值范围为[0,1]，当R2为1时，表示模型完美预测了数据；当R2为0时，表示模型无法解释数据方差。在实际应用中，R2决定系数通常用于比较不同模型的表现，取值越接近1，表示模型解释的数据方差越多，表现越好。

以下三种公式表达含义一样，作为后续答案补充。

公式定义1：

假设有n个样本，真实值分别为y₁, y₂, ……, yₙ，预测值分别为ŷ₁, ŷ₂, ……, ŷₙ

首先定义总方差（Total Sum of Squares，TSS）为真实值y的方差，即：

TSS = Σ(yᵢ - ȳ)² / n，(i=1,2,…,n)

其中，ȳ为所有真实值的平均数。我们希望得到模型的解释方差，即预测值能够解释的数据方差。因此，定义残差平方和（Residual Sum of Squares，RSS）为：

RSS = Σ(yᵢ - ŷᵢ)² / n，(i=1,2,…,n)

其中，ŷᵢ为第i个样本预测值，yᵢ - ŷᵢ为第i个样本的残差，表示预测值与真实值之间的差。

R2决定系数为解释方差占总方差的比例，即：

R² = 1 - (RSS / TSS)

公式定义2：

公式定义3：

通过分析以上公式不难发现，当应用非线性回归模型时，SSE>SST 即预测值误差特别大，可能会导致R2为负数。

网络其他回答：

解决强多重共线性问题或设计矩阵是奇异的，R2可能为负数。

自变量、因变量间不具有线性关系会导致R2为负数。

 2、官方文档

def score(self, X, y, sample_weight=None):

"""Returns the coefficient of determination R^2 of the prediction.

The coefficient R^2 is defined as (1 - u/v), where u is the residual sum of squares ((y_true - y_pred) ** 2).sum() and v is the total sum of squares ((y_true - y_true.mean()) ** 2).sum().
The best possible score is 1.0 and it can be negative (because the model can be arbitrarily worse). A constant model that always predicts the expected value of y, disregarding the input features, would get a R^2 score of 0.0.

def score(self, X, y, sample_weight=None):

“”“返回预测的决定系数R^2。

决定系数R^2定义为（1-u/v），其中u是残差平方和((y_true-y_pred)**2).sum()，v是平方和总和((y_true-y_true.mean())**2).sum()。 

可能的最佳分数是1.0，也可能是负数（因为模型可能更差）。一个总是预测y的期望值的常数模型，忽略输入特征，会得到0.0的R^2分数。

3、何时R² = R * R

似乎只有在有限的情况下，R² = R * R。引用相关维基百科的解释：

R²有几个定义，其中一类情况包括使用 r² 而不是 R² 的简单线性回归。当仅包含一个截距时， r² 就是观测结果和预测变量值之间的样本相关系数（即 r）的平方。如果包括其他回归系数，则 R² 是多重相关系数的平方。在这两种情况下，确定系数通常范围为0到1。 

简而言之，R²只是相关系数的平方，如果我们恰好(1)使用线性回归模型，(2) 对它们拟合的相同数据进行评估。

所以只有当线性回归模型是拟合的，并且在拟合的相同数据上对其进行评估时，我们才能期望R²在0和1之间。否则，R² 的定义可能会导致负值出现。

参考：

(10条消息) R2决定系数_决定系数r2_丰。。的博客-CSDN博客

(10条消息) R2系数浅析_enginelong的博客-CSDN博客

九道门丨扒一扒机器学习中，R² 为何会出现负数？ - 知乎 (zhihu.com)