2021-09-19 集成学习TASK2

普通最小二乘法ordinary least squares，OLS。
OLS回归线的性质：
1）回归线通过样本均值
2）回归线中数据点y的均值 等于 实际观测y的均值
3）残差的均值为零
4）y估计值与残差项不相关
5）解释变量X与残差不相关

2、在线性回归模型中，极大似然估计与最小二乘估计有什么联系与区别？
对于最小二乘估计，最合理的参数估计量应该使得模型能最好地拟合样本数据，也就是估计值和观测值之差的平方和最小。
对于最大似然法，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大，也就是概率分布函数或者说是似然函数最大。显然，这是从不同原理出发的两种参数估计方法。因此最大似然法需要已知这个概率分布函数。

3、为什么多项式回归在实际问题中的表现经常不是很好？
多项式回归模型次数越高，曲线就越光滑，在边界处的置信区间增大，预测效果的稳定性降低。