线性回归模型

参考：
1.使用Python进行线性回归
2.python机器学习：多元线性回归
3.线性回归概念

线性回归模型是线性模型的一种，模型决定了假设空间，线性模型就是指假设空间是特征的线性函数的一类模型。线性模型的基本形式是：给定由d个特征描述的示例 = (x1; x2; ... ; xd)，其中，xi是在第i个特征上的取值，线性模型试图学得一个通过特征的线性组合来进行预测的函数，即
f(x)=w1x1+w2x2+...+wdxd+b;也可以写成向量形式：f(x)=w(T)x+b;

线性模型应该是我们会介绍的模型中的最简单且最古老的模型了，它一般只会在各种教材中会单独作为主角登场，在实际项目中它几乎没有单独出场的机会。但是它的确又是很重要的一类模型，它甚至是很多复杂模型的基础，比如支持向量机、神经网络等模型中都有线性模型的身影。如果在机器学习模型圈评选奥斯卡最佳配角奖，那非线性模型莫属了。

线性模型大体可以分为线性回归模型和线性分类模型，这篇笔记只介绍线性回归模型，
一、什么是回归？

百度搜索回归，可以看到如下的解释：
回归，指研究一组随机变量(Y1 ，Y2 ，…，Yi)和另一组(X1，X2，…，Xk)变量之间关系的统计分析方法，又称多重回归分析。通常Y1，Y2，…，Yi是因变量，X1、X2，…，Xk是自变量。