python多元线性回归代码_Python实现梯度下降算法求多元线性回归(一)

预备知识及相关文档博客

学习吴恩达机器学习课程笔记,并用python实现算法

python numpy基本教程: numpy相关教程

数据来自于UCI的机器学习数据库: UCI的机器学习数据库

python绘制图形所用包matplotlib文档: matplotlib相关教程

数据计算处理工具pandas相关博客: pandas相关博客

数据介绍

数据介绍: Auto-mpg 汽车性能相关参数:

共有398个样本,以及9个变量,分别是mpg(燃料效率)、cylinders(发动机里的气缸数量)、displacement(发动机的位移)、horsepower(发动机的马力,有缺失值)、weight(汽车的重量)、acceleration(汽车的加速性能)、model year(汽车类型的生产年份)、car name(汽车品牌)等等

梯度下降算法及线性回归算法介绍

回归分析:

数学意义上来说是给定一个点集,能够用一条曲线去拟合之,如果这个曲线是一条直线,那就被称为线性回归,线性回归在这里也不过多解释,这篇文章主要是为了实现算法。在回归分析中,只包括一个自变量和一个因变量,即y=θ0+θ1X称为一元线性回归分析。若是包含多个因变量则是多元线性回归,即y=θ0+θ1X1+θ2X2+…+θnXn。

简单来说就是给你一堆数据,你从几个不同变量中找出它们之间的函数关系,并求出这些匹配不同变量的系数,如θ0,θ1等。

梯度下降算法:

梯度下降法是一种最优化算法,它是用迭代的方法求解目标函数得到最优解,是在cost function(成本函数)的基础上,利用梯度迭代求出局部最优解。

这里不过多解释,下面实现代码时会给出公式推导。

算法实现

相关数据截图:

UCI的机器学习数据库

网站的数据是以csv文件形式给出的,因此可以用pandas的read_csv()读取,但由于这个网站的数据没有表头,所以我们在读取时要加上表头,下面是代码,并且后面会针对部分代码给出解释

from io import StringIO

from urllib import request

import matplotlib.pyplot as plt

from mpl_toolkits.mplot3d import Axes3D

from matplotlib import cm

import ssl

import pandas as pd

import numpy as np

import linearRegrassion as lg

ssl._create_default_https_context = ssl._create_unverified_context

names =["mpg","cylinders","displacement","horsepower",

"weight","acceleration","model year","origin","car name"]

url = 'https://archive.ics.uci.edu/ml/machine-learning-databases/auto-mpg/auto-mpg.data'

s = request.urlopen(url).read().decode('utf8')

dataFile = StringIO(s)

cReader = pd.read_csv(dataFile,delim_whitespace=True,names=names) # 将流 转换为可迭代的 reader(csv row)

names是加上的表头,作为read_csv()的参数传给它

read_csv()还有一个参数filepath_or_buffer :

str,pathlib。str, pathlib.Path, py._path.local.LocalPath or any object with a read() method (such as a file handle or StringIO)

可以是URL,可用URL类型包括:http, ftp, s3和文件

这里要注意一下,直接读取url: pd.read_csv(url,delim_whitespace=True,names=names)会报urllib.error.URLError: 的错误

因此要import ssl并加上下面这几行语句

ssl._create_default_https_context = ssl._create_unverified_context

s = request.urlopen(url).read().decode('utf8')

dataFile = StringIO(s) # 将字符串转换为 StringIO对象,使其具有文件属性

观察加载后的数据(如下图),截图较短,你可以对照上下表或是元数据集观察

加上表头后的数据

我们可以发现,有一定变化幅度并且比较相关联的几个量是mpg(燃料效率),displacement(发动机的位移),horsepower(发动机的马力,有缺失值),acceleration(汽车的加速性能)

通常情况下,我们关注汽车性能时主要看它的加速性能,所以我们选取acceleration为关键性能,考量mpg,displacement对其的影响,以此做一个回归分析

其实horsepower与加速性能也很相关,但由于有缺失值,需要额外操作,在此我们还是要把重心放到实现算法本身上,所以先不予考虑

我们首先将上面代码得到的数据集绘制散点图,观察一下它的分布,代码如下:

ax = plt.subplot(111, projection='3d') # 创建一个三维的绘图工程

ax.scatter(cReader["mpg"][:100],cReader["displacement"][:100],cReader["acceleration"][:100],c='y')

#根据不同数据范围散点取不同颜色以便于区分

ax.scatter(cReader["mpg"][100:250],cReader["displacement"][100:250],cReader["acceleration"][100:250],c='r')

ax.scatter(cReader["mpg"][250:],cReader["displacement"][250:],cReader["acceleration"][250:],c='b')

ax.set_zlabel('acceleration') # 坐标轴

ax.set_ylabel('displacement')

ax.set_xlabel('mpg')

plt.show()

# 绘制mpg和displacement的二维散点图,其实也是三维散点图在x,y平面上的投影

plt.scatter(cReader["mpg"],cReader["displacement"])

plt.xlabel('mpg')

plt.ylabel('displacement')

plt.show()

得到的散点图:

3d散点图.png

mpg和displacement的二维散点图:

Figure_2d.png

在这篇文章里我们介绍了一些准备知识,并且通过python的pandas模块获取了相关数据集并将其可视化,在下面的系列文章里我会介绍如何处理这些数据并且实现算法:

第二篇已更新: Python实现梯度下降求多元线性回归(二)

你可能感兴趣的:(python多元线性回归代码)