机器学习实验之线性回归实验

一、实验要求

在计算机上验证和测试最小二乘法和线性回归实验，sklearn的线性回归算法。

• 实验目的

1、掌握最小二乘法的原理

2、能够理解线性回归和多元线性回归算法；

3、掌握线性回归评价指标和多项式特征算法；

4、掌握KNN，贝叶斯，决策树和SVM如何进行线性回归

5、掌握逻辑回归分类算法

三、实验内容

实验步骤

1. 请生成如下测试的回归数据。

import numpy as np

import matplotlib.pyplot as plt

x = np.linspace(-5,10.0,100)

y = x**3-8*x**2+np.random.rand(1,100)*100

plt.scatter(x,y)

Svm，无核函数

Svm，rbf

Svm，poly

Knn

贝叶斯

决策树

2.请参考线性回归.pdf，同时对比，线性回归，线性回归+多项式特征，以及KNN回归，贝叶斯回归，决策树回归和支持向量SVR回归，六个回归算法对步骤1中的样本数据的回归曲线的差异，哪个回归算法R方分数高（调用score函数）。

四、实验总结

由最后得分可知，回归算法中，线性svm加入rbf核函数的回归效果最好；

knn与决策树尚可，其他较为差劲。