仔细评估模型预测
2016年12月2日
由约翰·摩
（本文首次发表于的R -赢矢量博客 ，并亲切地促进了R-博客）
有一件事我教的是：评估回归模型的性能时， 你不应该使用关联作为你的分数 。
这是因为相关性告诉你结果的重新缩放是否有用，但是你想知道手中的结果是否真的有用。 例如：火星气候轨道器软件在磅-秒为单位期待的命令发出推力命令，发动机是在牛顿秒为单位 。 这两个量通过1.4881639的常数比相关，因此以磅 - 秒为单位测量的任何值与以牛顿 - 秒为单位的相同测量值具有1.0的相关性。 然而，一个不是另一个，区别是为什么火星气候轨道器“遇到火星在低于预期的高度和由于大气压力分解。
需要毫无意外地引发了与计算相关相关的隐式重新缩放方便的直接F-测试是我们提供的原因之一SIGR [- R库。 然而，即使事情可能变得混乱。
请阅读一个讨厌的小例子。
考虑以下“无害数据帧”。
d <-data.frame（prediction = c（0,0，-1，-2,0,0，-1，-2）， actual = c（2,3,1,2,2,3,1,2））
检查“的质量推荐的测试prediction
相关的”，“ actual
”是F-检验（这是测试stats::lm
使用）。 我们可以直接运行该测试sigr
（假设我们已经安装包），如下所示：
sigr :: formatFTest（d，'prediction'，'actual'，format ='html'）$ formatStr
F测试总结*：（R 2
- = -16，F（1,6）= - 5.6，P = NS）。
sigr
报告的R平方-16（请参阅这里的R平方的一些讨论）。 这可能是混乱的，但它正确传达我们没有模式，实际上是“ prediction
”是比只使用平均（一个非常传统的空模型）差。
然而， cor.test
似乎认为“ prediction
”是一个可用的模型：
cor.test（d $ prediction，d $ actual） Pearson的乘积矩相关 data：d $ prediction和d $ actual t = 1.1547，df = 6，p值= 0.2921备选假设：真相关不等于0 95％的置信区间： -0.3977998 0.8697404样本估计： 科尔 0.4264014
这是所有的预测，其中sum((d$actual-d$prediction)^2)==66
比大sum((d$actual-mean(d$actual))^2)==4
。 我们专注于影响措施（如R平方），因为我们可以通过添加更多的数据行来驱动p值。 我们的观点是：使用这个模型比使用实际（2）的平均值作为常数预测器更糟糕。 在我看来，这不是一个好的预测。 和lm
似乎同样兴奋的“ prediction
”。
summary（lm（actual〜prediction，data = d））呼叫： lm（公式=实际预测，数据= d）残留： 最小1Q中位数3Q最大 -0.90909 -0.43182 0.09091 0.52273 0.72727 系数： 估计标准 误差t值Pr（> | t |） （截距）2.2727 0.3521 6.455 0.000655 预测值0.3636 0.3149 1.155 0.292121 --- --- Signif。 代码：0''0.001'*'0.01''0.05'。 0.1“1残余标准误差：在6自由度上为0.7385多次R平方：0.1818，调整R平方：0.04545 F统计：1.333对1和6DF，p-值：0.2921
一个理由不相信lm
的结果是没有得分“质量prediction
”。 它拿下的质量“ 0.3636prediction + 2.2727
”。它可以是“案件0.3636prediction + 2.2727
”实际上是一个很好的预测。 但 这并不能帮助我们，如果是“ prediction
”即将展现在我们的老板或投产。 我们可以尝试通过坚持以缓解这种lm
尽量呆在通过关闭拦截更接近原始或使用“偏移0+
”符号。 这看起来像下面。
summary（lm（actual〜0 + prediction，data = d））呼叫： lm（公式=实际〜0 +预测，数据= d）残留： 最小1Q中位数3Q最大 0.00 0.00 1.00 2.25 3.00 系数： 估计标准 误差t值Pr（> | t |）预测-1.0000 0.6094 -1.641 0.145残余标准误差：1.927在7自由度上多次R平方：0.2778，调整R平方：0.1746 F统计：2.692对1和7DF，p-值：0.1448
即使是lm(0+)
的调整后的预测是不好的，因为我们看到如下：
d $ lmPred <-predict（lm（actual〜0 + prediction，data = d）） sum（（d $ actual-d $ lmPred）^ 2） [1] 26
是的， lm(0+)
找到了一种方法，提高了预测; 但是改进的预测仍然非常糟糕（比使用良好选择的常数更差）。 它是很难说“ -prediction
”是同一型号为“ prediction
”。
现在sigr
是相当新的代码，因此它是一个有点大胆的说，这是正确的，当它与标准方法不同意。 然而sigr
就在这种情况下。 标准方法没有那么多错误，因为两个原因：
他们正在回答不同的问题。 F检验旨在检查手中的预测是否好; “cor.test
”和“ lm %>% summary
”被设计为检查预测的任何重新缩放是实际上良好。 这些是不同的问题。 使用“ cor.test
”或“ lm %>% summary
”来测试潜在变量的工具是一个不错的主意。 在这些测试中隐藏的重新处理与稍后在模型中使用变量一致。使用它们来评分应该直接使用的模型结果是错误的。
从标准R代码的角度来看，什么是正确的“空模型”是不明显的。还记得我们最初的观点：对质量的措施lm(0+)
的设计，看看如何lm(0+)
工作。 这意味着lm(0+)
得分它的输出（而不是它的输入）的质量，它得到信贷的预测翻转迹象。 它也认为自然零模型是一个它可以形成没有可变驱动效应。 由于在这些模型中没有拦截或“DC-术语”（由“引发0+
”符号）盛大平均不被视为一个似是而非的空模式，因为它是不是在建模情况的概念空间lm
被提交。 或者从help(summary.lm)
R ^ 2，'由模型解释的方差分数'， R ^ 2 = 1-Sum（R [i] ^ 2）/ Sum（（y [i] -y *）^ 2） 其中y *是y [i]的平均值，否则为0。
我承认，这是非常令人困惑。 但它对应于文档，从建模的角度来看是有意义的。 它是正确的。 空模型从平均值到零的无声切换在其定义的上下文中是有意义的。对于测试我们的预测没有意义，但是这只是使用正确的F检验而不是试图攻击的另一个原因“ cor.test
”或“ lm(0+) %>% summary
”来计算它。
而这正是sigr
大概是：标准测试（使用R
提供的实现）略有不同的调用约定，以便更好地意向文件（在我们的情况下，几乎总是测量模型，从模型构建单独的质量）。 它是一个新的库，所以它还没有实现其目标所需的文档，但我们最终会到达那里。