2021-09-19 集成学习TASK2

TASK2 回归问题


作业:
1、请详细描述线性回归模型的最小二乘法表达。
回答:
一元线性回归的基本假设:
1)对模型和变量的假定:
假设解释变量X是非随机的。
假设变量和模型无设定误差。
2)对随机误差项的假定:
零均值假定
同方差假定
无自相关假设
随机误差和解释变量X不相关
随机误差项分布的正态性假设

普通最小二乘法ordinary least squares,OLS。
OLS回归线的性质:
1)回归线通过样本均值
2)回归线中数据点y的均值 等于 实际观测y的均值
3)残差的均值为零
4)y估计值与残差项不相关
5)解释变量X与残差不相关

2、在线性回归模型中,极大似然估计与最小二乘估计有什么联系与区别?
对于最小二乘估计,最合理的参数估计量应该使得模型能最好地拟合样本数据,也就是估计值和观测值之差的平方和最小。
对于最大似然法,最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大,也就是概率分布函数或者说是似然函数最大。显然,这是从不同原理出发的两种参数估计方法。因此最大似然法需要已知这个概率分布函数。

3、为什么多项式回归在实际问题中的表现经常不是很好?
多项式回归模型次数越高,曲线就越光滑,在边界处的置信区间增大,预测效果的稳定性降低。

你可能感兴趣的:(学习,机器学习)