BIC/AIC/Adjusted R-Squared

AIC

基于SSE(sum of squared errors), 但是包含了一个惩罚项。

$$AIC(k)=ln(\frac{SSE}{T})+\frac{(k+1)2}{T}$$

k 代表变量的个数，T是样本的大小。 当样本的大小增加时，惩罚项以 $\frac{1}{T}$的的速率减小。

BIC

同样也是基于SSE， 但包含的惩罚项不同。

$$BIC(k)=ln(\frac{SSE}{T})+\frac{(k+1)ln(T)}{T}$$

当样本的大小增加时，惩罚项以 $\frac{ln(T)}{T}$的的速率减小。

所以BIC的惩罚项会有更大的权重。

因为BIC对于惩罚项的权重更大，所以BIC倾向于选择更小的模型（具有更少的变量的模型）。

Adjusted R-squared

$$AdjustedR-Squared=1-\frac{SSE}{SST}\frac{n-1}{n-k-1}$$

当比较模型时，我们选择具有更小的AIC、BIC 和更大的adjusted R-Squared。