证明 总偏差平方和 = 回归平方和 + 残差平方和

线性回归中有这样一条性质：
$$总偏差平方和(SST)=回归平方和（SSR）+残差平方和（SSE）$$

即：
$$\sum (y_i-\overline{y}{)}^2=\sum ({\hat{y}}_i-\overline{y}{)}^2+\sum (y_i-{\hat{y}}_i{)}^2\text{\hspace{1em}(1)}$$

证明：下面以一元回归为例证明。
$$\begin{array}{rl}\sum (y_i-\overline{y}{)}^2& =\sum (y_i-{\hat{y}}_i+{\hat{y}}_i-\overline{y}{)}^2\\ & =\sum (y_i-{\hat{y}}_i{)}^2+\sum ({\hat{y}}_i-\overline{y}{)}^2+2\sum (y_i-{\hat{y}}_i)({\hat{y}}_i-\overline{y})\end{array}$$

因此，我们需要证明 $\sum (y_i-{\hat{y}}_i)({\hat{y}}_i-\overline{y})=0$.

$$\begin{array}{rl}\sum (y_i-{\hat{y}}_i)({\hat{y}}_i-\overline{y})& =\sum (y_i-{\hat{y}}_i){\hat{y}}_i-\overline{y}\sum (y_i-{\hat{y}}_i)\end{array}\text{\hspace{1em}(2)}$$

根据最小二乘法，若回归方程为：$y={\beta }_0+{\beta }_{1}x$，优化目标是使得 $f=\sum (y_i-{\beta }_0+{\beta }_1{x}_i{)}^2$最小，通过令一阶导数 $f$ 为零计算 ${\beta }_0,{\beta }_1$：
$$\begin{array}{r}\frac{\partial f}{\partial {\beta }_0}=-2\sum (y_i-{\beta }_0+{\beta }_1{x}_i)=0\end{array}$$
由于 ${\hat{y}}_i={\beta }_0+{\beta }_1{x}_i$，所以
$$\sum (y_i-{\hat{y}}_i)=0\text{\hspace{1em}(3)}$$

又因为：
$$\begin{array}{r}\frac{\partial f}{\partial {\beta }_1}=2\sum x_i(y_i-{\beta }_0+{\beta }_1{x}_i)=0\end{array}$$

所以，
$$\sum ({\beta }_0+{\beta }_1{x}_i)(y_i-{\beta }_0+{\beta }_1{x}_i)=\sum {\hat{y}}_i({\hat{y}}_i-y_i)=0\text{\hspace{1em}(4)}$$

综合表达式 （2）,（3）,（4），表达式（1）成立。因此：
$$总偏差平方和(SST)=回归平方和（SSR）+残差平方和（SSE）$$
$\square$