线性回归——实验

一、实验要求
在计算机上验证和测试最小二乘法和线性回归实验，sklearn的线性回归算法。
二、实验目的
1、掌握最小二乘法的原理
2、能够理解线性回归和多元线性回归算法；
3、掌握线性回归评价指标和多项式特征算法；
4、掌握KNN，贝叶斯，决策树和SVM如何进行线性回归
5、掌握逻辑回归分类算法
三、实验内容
实验步骤
1.请参考线性回归.pdf文档，完成基于最小二乘法的一元线性回归，多元线性回归的实现。并用测试用多元线性回归，对波士顿房价进行预测。

一元线性回归：

多元线性回归：

用多元线性回归，对波士顿房价进行预测：

2.请参考线性回归2.pdf，同时对比，线性回归，以及KNN回归，贝叶斯回归，决策树回归和SVR回归，五个回归算法对波士顿房价预测的差异，哪个回归算法R方分数高。

最小二乘法线性回归：

KNN回归：

贝叶斯回归：

决策树回归：

SVR回归：

R方：

经对比：KNN回归算法R方分数高

2.请参考线性回归2.pdf和分类汇总.ipynb，同时对比逻辑回归，针对基本数据，交叉数据，太极数据，圆环数据，异或数据，多类数据的分类边界线。

逻辑回归边界对比：

逻辑回归加入多项式回归：分类边界效果变差

基本(表现较好)与交叉数据集：

太极与圆环数据集：

异或与多分类数据集：

四、实验总结
理解了线性回归和多元线性回归算法，更加清楚了各算法回归的分类边界效果。