应用回归分析（何晓群）学习笔记

1.1

变量间具有密切关联而又不能由某一个或某一些变量唯一确定另外一个变量的关系，称为变量间的统计关系或者相关关系。

 现代统计学关于统计关系的研究已经形成两个分支：相关分析与回归分析。

1.3

回归模型的一般形式：

 

对线性回归模型我们需要研究的问题：

注：n表示样本容量，p表示解释变量，一般情况下要求n>p

1.4

（1）时间序列数据容易产生模型中随机误差项的序列相关，需要通过差分法消除序列相关性。

（2）未知参数的估计方法最常用的是普通最小二乘法，这是最经典的方法。对于不满足模型基本假设的回归问题，可以采用岭回归，主成分回归，偏最小二乘估计。

（3）对于回归模型的检验一般需要进行统计检验和模型经济意义的检验

（4）统计检验通常是对回归方程的显著性检验，以及回归系数的显著性检验，还有拟合优度的检验，随机误差项的序列相关检验，异方差性检验，解释变量的多重共线性检验等。

1.5

（1）在回归模型中，当自变量代表时间，因变量不独立并且构成平稳序列时，这种回归模型称为时间序列分析。

（2）为了克服设计矩阵X的病态性，提出了以岭估计为代表的多种有偏估计。（？？？什么是矩阵的病态性）

 

第二章.一元线性回归

2.1

一元线性回归模型的数学形式：

**

利用矩阵处理线性关系

于是上述**式表示成   

注：In表示n阶单位矩阵。同时，该式将数学表达式用矩阵的形式表达了出来，在后面将多次使用。重点！这样对应的就是线性方程组的求解问题。

2.2

一.普通最小二乘估计（ordinary least square estimation）的手工推导

所谓最小二乘法，就是使定义的离差平方和达到极小。

(注：此处的过程推导利用克莱姆法则，与书上稍微有点不同，不同的原因在于课本上引入了x拔)

 

二，最大似然估计（maximum likelihood estimation）

（此处需补充）

 

2.3 最小二乘估计的性质

（1）线性 

（2）无偏性

 

第三章.多元线性回归

3.1

多元线性回归模型的一般形式：

线性回归模型的方程组表示

线性回归模型的矩阵表示

注：矩阵X是n*（p+1）阶矩阵，称为设计矩阵，并且r(X)=p+1

3.2 回归参数的估计

一.多元线性回归的普通最小二乘估计的手工推导（矩阵形式）

（注：此处利用矩阵求导的结论，具体知识记录在专门博文中）

 

第六章 多重共线性的情形及其处理

定义：如果存在不全为0的p+1个数 C0,C1,C2,.....Cp,使得

 

当我们所研究的经济问题涉及时间序列资料时，由于经济变量随时间往往存在共同的变化趋势，使得他们容易出现共线性。

 

第七章 岭回归

产生背景：当设计矩阵X呈病态时，X的列向量之间有较强的线性相关性，即解释变量间出现严重的多重共线性。这种情况下，用普通最小二乘法估计模型参数，往往参数估计方差太大。

7.1

岭回归的定义：当自变量间存在多重共线性，即

（k>0）

表达式：