python线性回归可视化_梯度下降法求解线性回归的python实现及其结果可视化（一）...

编者注：本文包含了使用Python2.X读取数据、数据处理、作图，构建梯度下降法函数求解一元线性回归，并对结果进行可视化展示，是非常综合的一篇文章，包含了Python的数据操作、可视化与机器学习等内容。学习了这一篇文章就大概了解或掌握相关Python编程与数据分析等内容。另外，本文还巧妙地进行了一个设计，这使得本文Python代码也可用于多元线性回归，这是区别与现有网络上大多数梯度下降法求解线性回归的Python实现不同，具体会在文中说明。

一、梯度下降法与回归分析

梯度下降法则是一种最优化算法，它是用迭代的方法求解目标函数得到最优解，是在cost function（成本函数）的基础上，利用梯度迭代求出局部最优解。在这里关于梯度下降法不做过多介绍，相关资料已经很多且后边还会结合构建的函数进行分析，借用网上常用的一个比喻去直观解释。

比如，我们在一座大山上的某处位置，由于我们不知道怎么下山，于是决定走一步算一步，也就是在每走到一个位置的时候，求解当前位置的梯度，沿着梯度的负方向，也就是当前最陡峭的位置向下走一步，然后继续求解当前位置梯度，向这一步所在位置沿着最陡峭最易下山的位置走一步。这样一步步的走下去，一直走到觉得我们已经到了山脚。当然这样走下去，有可能我们不能走到山脚，而是到了某一个局部的山峰低处。

回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，线性回归大家应该很熟悉，在这里也不过多解释，后边构造代码的时候也会去分析一些，在回归分析中，只包括一个自变量和一个因变量，即y=a+bx+u称为一元线性回归分析。若是包含多个因变量则是多元线性回归，即y=a+b1x1+b2x2+…+bnxn+u。

二、用Python读取所要使用的数据

数据来自于UCI的机器学习数据库中的Auto-mpg汽车燃料效率（mpg），共有398个样本，以及9个变量，分别是mpg（燃料效率）、cylinders（发动机里的气缸数量）、displacement（发动机的位移）、horsepower（发动机的马力，有缺失值）、weight（汽车的重量）、acceleration（汽车的加速性能）、model year（汽车类型的生产年份）、car name（汽车品牌）等等。在导入numpy、pandas、matplotlib、math等数据处理相关模块后，通过读取url来导入数据，部分数据网页呈现形式截图如下：

网页数据呈现形式有两个需要注意的地方（这也是许多UCI数据的特点）：一是没有表头，我们就在代码中构建name列表并加入pd.read_csv中，否则的话数据第一行就会作为表头；二是数据间用空格来间隔，我们就在pd.read_cs加入delim_whitespace=True来分列，默认分隔符为逗号。

其代码如下：

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

import math

url = 'https://archive.ics.uci.edu/ml/machine-learning-databases/auto-mpg/auto-mpg.data'

names =["mpg","cylinders","displacement","horsepower",

"weight","acceleration","model year","origin","car name"]

cars = pd.read_csv(url, delim_whitespace=True,names=names)#值与值之间，使用空白字符来指定你想要的分隔符

cars.head(5)

得到结果：

对其中的mpg与acceleration绘制散点图如下：

plt.scatter(cars["mpg"]

,cars["acceleration"]) #mpg燃料效率；acceleration汽车的加速性能

plt.xlabel('mpg')

plt.ylabel('acceleration')#设置坐标轴标签

plt.show()

三、数据处理——构建X、Y变量

将'mpg','weight'列单独拿出来，作为构建回归分析的X、Y变量，代码如下：

data = cars[['mpg','acceleration']]#选取表格中的'mpg','weight'列

data.insert(0, 'Ones', 1) #在data第1-2列之间插入全是1的一列数

# set X (training data) and y (target variable)

cols = data.shape[1] #计算data的列数，在这里cols为3

X = data.iloc[:,0:cols-1]

y = data.iloc[:,cols-1:cols]

在这里可能很多人会有疑问：为什么要插入一列全是1的数据？为什么还要采用iloc选取列的函数来重新定义X、y，本文分析的变量'mpg','weight'不是已经有了么？

因此，在这里我们需要对回归分析模型着重说一下。事实上，无论是一元线性回归如y=β0+β1x，还是多元线性回归如y=β0+β1x1+β2x2+…+βnxn+u，都可以用矩阵形式表示：

对于一元线性回归，那么上数矩阵就是取k=2，X变量也就是前两列，即1和X21—X2n的矩阵，这就是为什么要在data中插入全是1的一列意义所在，然后用iloc选取前两列为X变量，最后一列为y变量。

四、先用最小二乘法求解回归并计算损失函数

为了比较梯度下降法的求解结果，在这里先用最小二乘法求解回归，具体求解过程不再细述，其求解公式为：

线性回归的平方差损失函数为：

代码如下

X = np.matrix(X.values)

y = np.matrix(y.values) #首先要把变量由data frames 转变为矩阵形式

from numpy.linalg import inv

from numpy import dot

theta_n = dot(dot(inv(dot(X.T, X)), X.T),y) # theta = (X'X)^(-1)X'Y

print theta_n

def computeCost(X, y, theta):

inner = np.power(((X * theta.T) - y), 2)

return np.sum(inner) / (2 * len(X))

X.shape, theta_n.shape, y.shape

lr_cost = computeCost(X, y, theta_n.T)

print(lr_cost)

得到结果为：theta_n=[12.0811332, 0.1482892]T，为2*1（2行1列）矩阵，所以在计算损失函数中要进行转置（theta_n.T）。因为涉及到矩阵计算，所以要用“X.shape, theta_n.shape, y.shape”命令看一下三个矩阵的形式。

得到的损失值lr_cost为3.12288717494。

待续。。。。

写作不易，特别是技术类的写作，请大家多多支持，关注、点赞、转发等等，也欢迎大家关注知乎爬虫与数据分析专栏：https://zhuanlan.zhihu.com/zjying2000。

————————————

参考文献：

1. Machine Learning Exercises In Python,Part 1,

2. （吴恩达笔记 1-3）——损失函数及梯度下降

3. 梯度下降法求解线性回归之python实现