python与机器学习（四.线性回归原理）

主要思想：根据现有的数据对分类边界线建立回归公司，以此进行分类。

我们给定由d个属性描述的示例X = (X1;X2;X3;.....;Xd),其中Xi是X在第i个属性上的取值，线性模型试图学得一个通过属性的线性组合来进行预测的函数，即

F(X) = w1x1 + w2x2 + ... + b,一般用向量形式写成F(X) = wTX + b,

其中w=(w1;w2;....;wd),w和b学得之后，模型就得以确定了,那怎样去确定呢？

我们假定Xi预测后的方程为yi = wTXi+b + ei，ei为预测方程算出的值与真实值的误差，它是独立同分布并服从均值为0方差为w**2的高斯分布。那么确定模型的过程实际就是让e1+e2+...+en(假设有e个训练实例)最小的过程。

这张公式推导比较多，而且不太好打字，所以决定把板书直接拍照传上来。

一.公式推导

目标函数的求法

特征系数求解

二.python实现代码

线性回归的代码实现

三.梯度下降法

先导入原始数据并做归一化处理：

原始数据

梯度下降

定义目标函数

迭代函数

目标函数值的变化过程