普通最小二乘法推导

OLS(普通最小二乘估计)

简单回归模型的参数估计,对于具体的样本数据,假设满足:

假设条件的数学表示

对于残差项

代入(i),(ii)

选择估计量解决上述方程的样本问题

上一式等价于,则,代回上式,得:

调整后,
\begin{cases} \sum_{i=1}^{n}x_i(y_i-\bar{y})=\hat{\beta_1}\sum_{i=1}^{n}(x_i-\bar{x})\\ \sum_{i=1}^{n}x_i(x_i-\bar{x})=\sum_{i=1}^{n}(x_i-\bar{x})^2\\ \sum_{i=1}^{n}x_i(y_i-\bar{y})=\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y}) \end{cases}
因此,只要有,估计的斜率为

由此,也可以求

OLS回归线

使用估计的斜率参数和截距参数,构建残差的平方和,并使其尽量小 (最小二乘法的由来)

OLS回归线==(样本回归函数SRF)==

你可能感兴趣的:(普通最小二乘法推导)