第一章 python数据挖掘基础环境安装和使用
是一个画二维图表的python工具库。
模仿matlab(矩阵实验室)
mat - matrix
lab - 实验室
为什么不用它?
专门用于开发 2D 图表(包括 3D 图表)的 python 库
使用起来及其简单
以渐进、交互式方式实现数据可视化
对应的 JS 库有 D3、echarts
官网:Matplotlib
可视化是在整个数据挖掘的关键辅助工具,可以清晰的理解数据,从而调整我们的分析方法。
import matplotlib.pyplot as plt
%matplotlib inline
plt.figure()
plt.plot([1,0,9],[4,5,61])
plt.show()
import matplotlib.pyplot as plt :导包,pyplot 重新命名为 plt
%matplotlib inline :是看环境情况,有的环境是不需要这行也能画出图,有的环境需要加入这行。它是一个魔法函数(Magic Functions)。官方给出的定义是:IPython有一组预先定义好的所谓的魔法函数(Magic Functions),你可以通过命令行的语法形式来访问它们。可见“%matplotlib inline”就是模仿命令行来访问magic函数的在IPython中独有的形式。
我的加不加这行都可以
plt.figure() :figure英文是图像的意思,创建一个画布,我们在画布上画东西。
plt.plot([1,0,9],[4,5,61]) :plot英文是画图的意思,他是里面有两个参数,第一个参数[1,0,9]、第二个参数[4,5,61] 两个列表,其实它画图就是画的这些数据,这个数据和图之间是怎样的关系的?观察可得出,第一个参数传的是横坐标、第二个传的是纵坐标数据,相当于plot把这些点画出来之后再把这些点连起来,连成线。
plt.show() :把图最终呈现出来。
容器层主要由Canvas、Figure、Axes组成。
plt.figure(figsize=(长,宽), dpi=)
figure , axes = plt.subplots(nrows=行,ncols=列, figsize=, dpi=)
特点:
- 一个figure(画布)可以包含多个axes(坐标系 / 绘图区),但是一个axes只能属于一个figure。
- 一个axes(坐标系/绘图区)可以包含多个axis(坐标轴),包含两个即为2d坐标系,3个即为3d坐标系
总结
- 容器层
- 画板层 Canvas(位于最底层,用户一般接触不到)
- 画布层 Figure(画板层之上创建画布层)
- 绘图层/坐标系 Axes(画布层上创建多个绘图区 或者 坐标系 )
- x、y轴张成的区域
- 辅助显示层(添加一些功能)
- 图像层(画图)
- 坐标轴 Axis、图例 legend 等辅助显示层以及图像层都是建立在Axes之上
辅助显示层为Axes(绘图区)内的除了根据数据绘制出的图像以外的内容,主要包括Axes外观(facecolor)、边框线(spines)、坐标轴(axis)、坐标轴名称(axis label)、坐标轴刻度(tick)、坐标轴刻度标签(tick label)、网格线(grid)、图例(legend)、标题(title)等内容。
该层的设置可使图像显示更加直观更加容易被用户理解,但又不会对图像产生实质的影响。
plt.x/yticks()
plt.x/ylabel()
plt.title()
plt.grid()
plt.legend()
# 中文显示问题
plt.rcParams['font.sans-serif']=['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False # 用来正常显示负号
图像层指Axes内通过plot、scatter、bar、histogram、pie等函数根据数据绘制出的图像。
以折线的上升或下降来表示统计数量的增减变化的统计图
特点:能够显示数据的变化趋势,反映事物的变化情况。(变化)
matplotlib.pyplot 包含了一系列类似于matlab的画图函数。它的函数作用于当前图形(figure)的当前坐标系(axes)。
import matplotlib.pyplot as plt
展现东莞一周的天气,比如从星期一到星期日的天气温度如下
# (1) 创建画布(客器组)
plt.figure()
# (2)绘制折线(图像层)
plt.plot([1, 2, 3, 4, 5, 6 ,7], [30, 32, 30, 31, 30, 32, 31])
# (3)显示围像
plt.show()
运行Ctrl+Enter
可以看到这样显示效果并不好,我们可以加入更多的功能。
plt.figure(figsize=(长,宽), dpi=)
figsize: 指定图的长宽
dpi: dot per inch 每英寸多少个点,图像的清晰度
返回fig对象
代码:
plt.figure(figsize=(20,8),dpi=80)
# (1) 创建画布(客器组)
plt.figure(figsize=(20,8),dpi=80)
# (2)绘制折线(图像层)
plt.plot([1, 2, 3, 4, 5, 6 ,7], [30, 32, 30, 31, 30, 32, 31])
# 保存图像
plt.savefig("东莞一周的天气.png")
# (3)显示围像
plt.show()
注意: plt.show()会释放figure资源,如果在显示图像之后保存图片将只能保存空图片。
plt.xticks(x, **kwargs)
plt.yticks(y, **kwargs)
plt.xticks(range(60)[::5],["11分{}秒".format(i) for i in x][::5])
plt.yticks(range(40)[::5])
# 或者
plt.yticks(range(0,40,5))
mac 的一次配置,一劳永逸
ubantu 每创建一次新的虚拟环境,需要重新配置
下载中文字体(黑体,看准系统版本)
1)安装字体
windows和mac下:双击安装
linux下:拷贝字体到 usr/share/fonts 下:
sudo cp ~/SimHei.ttf /usr/share/fonts/SimHei.ttf
注意:Linux如果用ubantu也可以通过双击安装
2)删除matplotlib缓存文件
Mac系统的解决方案:
删除~/.matplotlib中的缓存文件
cd ~/.matplotlib
rm -r *
Linux系统的解决方案:
删除~/.cache/matplotlib中的缓存文件
cd ~/.cache/matplotlib
rm -r *
3)修改配置文件matplotlib
Mac系统的解决方案:
修改配置文件matplotlib
vi ~/.matplotlib/matplotlibrc
将文件内容修改为:
font.family : sans-serif
font.sans-serif : SimHei
axes.unicode_minus : False
Linux系统的解决方案
修改配置文件
sudo find -name matplotlibrc
返回结果:
./.virtualenvs/ai/lib/python3.5/site-packages/matplotlib/mpl-data/matplotlibrc
打开配置文件:
vi ./.virtualenvs/ai/lib/python3.5/site-packages/matplotlib/mpl-data/matplotlibrc
将配置文件中下面3项改为如下所示
font.family : sans-serif
font.sans-serif : SimHei
axes.unicode_minus : False
Windows系统的小伙伴可以在代码里加上
plt.rcParams['font.sans-serif'] = ['KaiTi']
plt.rcParams['axes.unicode_minus'] = False
这两句就行,不用下载那个字体
plt.grid(True, linestyle='--', alpha=0.5)
添加 x轴、y轴 描述信息 及 标题
plt.xlabel("时间")
plt.ylabel("温度")
plt.title("上海、北京11点0分到12点之间的温度变化图示")
plt.plot(x, y_shanghai, color="r",linestyle='-.',label="上海")
plt.plot(x, y_beijing, color="b",label="北京")
注意
:如果只在plt.plot()中设置label还不能最终显示出图例,我们只在 图像层
层面进行修改,还需要在 辅助显示层
层面进行修改(显示图例),通过plt.legend() # 显示图例
颜色字符 | 风格字符 |
---|---|
r 红色 | - 实线 |
g 绿色 | - - 虚线 |
b 蓝色 | -. 点划线 |
w 白色 | : 点虚线 |
c 青色 | ’ ’ 留空、空格 |
m 洋红 | |
y 黄色 | |
k 黑色 |
plt.legend()
或者
plt.legend(loc="best")
或者
plt.legend(loc=0)
用 字符串 去传还是用 数字 去传都可以,默认“best”。
Location String | Location Code |
---|---|
‘best’ | 0 |
‘upper right’ | 1 |
‘upper left’ | 2 |
‘lower left’ | 3 |
‘lower right’ | 4 |
‘right’ | 5 |
‘center left’ | 6 |
'center right‘ | 7 |
'lower center‘ | 8 |
'upper center’ | 9 |
'center‘ | 10 |
需求: 画出某城市11点到12点1小时内每分钟的温度变化折线图,温度范围在15度~18度
# 温度变化折线图
import matplotlib.pyplot as plt
%matplotlib inline
import random
# 1、准备数据
x = range(60)
y_shanghai = [random.uniform(15,18) for i in x]
y_beijing = [random.uniform(1,3) for i in x]
# 中文显示问题
plt.rcParams['font.sans-serif']=['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False # 用来正常显示负号
# 2、创建画布
plt.figure(figsize=(20,8),dpi=80)
# 3、绘制图像
plt.plot(x, y_shanghai, color="r",linestyle='-.',label="上海")
plt.plot(x, y_beijing, color="b",label="北京")
# 显示图例
plt.legend()
# plt.legend(loc="lower left")
# plt.legend(loc=4)
# 修改x y刻度
x_label = ["11分{}秒".format(i) for i in x]
plt.xticks(x[::5],x_label[::5])
plt.yticks(range(0,40,5))
# 显示网格
plt.grid(linestyle='--', alpha=0.5)
# 添加描述 标题
plt.xlabel("时间")
plt.ylabel("温度")
plt.title("上海、北京11点0分到12点之间的温度变化图示")
# 4、显示图像
plt.show()
random.uniform(15,18) 均匀分布的意思
可以通过subplots函数实现(旧的版本中有subplot,使用起来不方便),推荐subplots函数。
figure , axes = matplotlib.pyplot.subplots(nrows=1,ncols=1,**fig_kw)
创建一个带有多个axes(坐标系 / 绘图区)的图
Parameters:
nrows, ncols : int, optional, default: 1, Number of rows/columns of the subplot grid.
**fig_kw : All additional keyword arguments are passed to the figure() call.
Returns:
fig : 图对象
ax :
设置标题等方法不同:
set_xticks
set_yticks
set_xlabel
set_ylabel
关于axes子坐标系的更多方法: 可以参考https://matplotlib.org/stable/api/axes_api.html#matplotlib.axes.Axes
注意: plt.函数名() 相当于面向过程的画图方法,axes.set_方法名() 相当于面向对象的画图方法。
# 温度变化折线图
import matplotlib.pyplot as plt
%matplotlib inline
import random
# 1、准备数据
x = range(60)
y_shanghai = [random.uniform(15,18) for i in x]
y_beijing = [random.uniform(1,3) for i in x]
# 中文显示问题
plt.rcParams['font.sans-serif']=['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False # 用来正常显示负号
# 2、创建画布
# plt.figure(figsize=(20,8),dpi=80)
figure, axes = plt.subplots(nrows=1, ncols=2, figsize=(20, 8), dpi= 80)
# 3、绘制图像
# plt.plot(x, y_shanghai, color="r",linestyle='-.',label="上海")
# plt.plot(x, y_beijing, color="b",label="北京")
axes[0].plot(x, y_shanghai, color="r",linestyle='-.',label="上海")# 第一个绘图区
axes[1].plot(x, y_beijing, color="b",label="北京")# 第二个绘图区
# 显示图例
# plt.legend()
# plt.legend(loc="lower left")
# plt.legend(loc=4)
axes[0].legend()
axes[1].legend()
# 修改x y刻度
x_label = ["11分{}秒".format(i) for i in x]
# plt.xticks(x[::5],x_label[::5])
# plt.yticks(range(0,40,5))
axes[0].set_xticks(x[::5],x_label[::5])
axes[0].set_yticks(range(0,40,5))
axes[1].set_xticks(x[::5],x_label[::5])
axes[1].set_yticks(range(0,40,5))
# 显示网格
# plt.grid(linestyle='--', alpha=0.5)
axes[0].grid(linestyle='--', alpha=0.5)
axes[1].grid(linestyle='--', alpha=0.5)
# 添加描述 标题
# plt.xlabel("时间")
# plt.ylabel("温度")
# plt.title("上海、北京11点0分到12点之间的温度变化图示")
axes[0].set_xlabel("时间")
axes[0].set_ylabel("温度")
axes[0].set_title("上海11点0分到12点之间的温度变化图示")
axes[1].set_xlabel("时间")
axes[1].set_ylabel("温度")
axes[1].set_title("北京11点0分到12点之间的温度变化图示")
# 4、显示图像
plt.show()
如果你的横坐标没有像我一样正常显出来,可以查看https://matplotlib.org/stable/api/axes_api.html#matplotlib.axes.Axes
用set_xticklabels方法# 修改x y刻度 x_label = ["11分{}秒".format(i) for i in x] axes[0].set_xticks(x[::5]) axes[0].set_xticklabels(x_label[::5]) axes[0].set_yticks(range(0,40,5)) axes[1].set_xticks(x[::5]) axes[1].set_xticklabels(x_label[::5]) axes[1].set_yticks(range(0,40,5))
import matplotlib.pyplot as plt
%matplotlib inline
import numpy as np
# 1、准备x、y数据
x = np.linspace(-1,1,1000)# 生成-1到1之间等距离的生成一千个数 [-1,...,1]
y = 2 * x * x # 2乘x的平方
# 2、创建画布
plt.figure(figsize=(20,8), dpi=80)
# 3、绘制图像
plt.plot(x, y)
# 添加网格显示
plt.grid(linestyle="--",alpha=0.5)
plt.show()
Matplotlib能够绘制折线图、散点图、柱状图、直方图、饼图。
折线图 plot
:以折线的上升或下降来表示统计数量的增减变化的统计图散点图 scatter
:用两组数据构成多个坐标点,考察坐标点的分布,判断两变量之间是否存在某种关联或总结坐标点的分布模式。柱状图 bar
:排列在工作表的列或行中的数据可以绘制到柱状图中。直方图 histogram
:由一系列高度不等的纵向条纹或线段表示数据分布的情况。一般用横轴表示数据范围,纵轴表示分布情况。饼图 pie
:用于表示不同分类的占比情况,通过弧度大小来对比各种分类。# 需求:探究房屋面积和房屋价格的关系
import matplotlib.pyplot as plt
%matplotlib inline
# 1、准备数据
# 房屋面积数据:
x = [225.98, 247.07, 253.14, 457.85, 241.58, 301.01, 20.67, 288.64,
163.56, 120.06, 207.83, 342.75, 147.9 , 53.06, 224.72, 29.51,
21.61, 483.21, 245.25, 399.25, 343.35]
# 房屋价格数据:
y = [196.63, 203.88, 210.75, 372.74, 202.41, 247.61, 24.9 , 239.34,
140.32, 104.15, 176.84, 288.23, 128.79, 49.64, 191.74, 33.1 ,
30.74, 400.02, 205.35, 330.64, 283.45]
# 2、创建画布
plt.figure(figsize=(20, 8), dpi=80)
# 3、绘制图像
plt.scatter(x, y)
# 4、显示图像
plt.show()
matplotlib.pyplot.bar(x, height, width=0.8, align='center', **kwargs)
import matplotlib.pyplot as plt
%matplotlib inline
# 对比每部电影的票房收入
# 1、准备数据
movie_names = ['雷神3:诸神黄昏','正义联盟','东方快车谋杀案','寻梦环游记','全球风暴', '降魔传','追捕','七十七天','密战','狂兽','其它']
tickets = [73853,57767,22354,15969,14839,8725,8716,8318,7916,6764,52222]
# 中文显示问题
plt.rcParams['font.sans-serif']=['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False # 用来正常显示负号
# 2、创建画布
plt.figure(figsize=(20, 8), dpi=80)
# 3、绘制柱状图
x_ticks = range(len(movie_names))
plt.bar(x_ticks, tickets, color=['b','r','g','y','c','m','y','k','c','g','b'])
# 修改x刻度
plt.xticks(x_ticks, movie_names)
# 添加标题
plt.title("电影票房收入对比")
# 添加网格显示
plt.grid(linestyle="--", alpha=0.5)
# 4、显示图像
plt.show()
比较相同天数的票房
有时候为了公平起见,我们需要对比不同电影首日和首周的票房
import matplotlib.pyplot as plt
%matplotlib inline
# 对比每部电影的票房收入
# 1、准备数据
movie_names = ['雷神3:诸神黄昏','正义联盟','寻梦环游记']
first_day = [10587.6, 10062.5, 1275.7]
first_weekend = [36224.9, 34479.6, 11830]
# 中文显示问题
plt.rcParams['font.sans-serif']=['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False # 用来正常显示负号
# 2、创建画布
plt.figure(figsize=(20, 8), dpi=80)
# 3、绘制柱状图
plt.bar(range(3), first_day, width=0.2, label='首日票房',color=["#309fb6"])
plt.bar([0.2,1.2,2.2], first_weekend, width=0.2,label="首周票房",color="#f68084")
# 显示图例
plt.legend()
# 修改x刻度
plt.xticks([i+0.1 for i in range(3)], movie_names)
# 添加标题
plt.title("电影票房收入对比")
# 4、显示图像
plt.show()
柱状图应用场景
适合用在分类数据对比场景上
由一系列高度不等的纵向条纹或线段表示数据分布的情况。一般用横轴表示数据范围,纵轴表示分布情况。
特点:绘制连续性的数据展示一组或者多组数据的分布状况(统计)
直方图牵涉统计学的概念,首先要对数据进行分组,然后统计每个分组内数据元的数量。在坐标系中,横轴标出每个组的端点,纵轴表示频数,每个矩形的高代表对应的频数,称这样的统计图为频数分布直方图。
相关概念
分布
,柱状图比较数据的大小
。定量数据
,柱状图X轴为分类数据
。matplotlib.pyplot.hist(x, bins=None, density=False, **kwargs)
x 数据
bins 组数
**kwargs 其他
https://matplotlib.org/stable/api/_as_gen/matplotlib.pyplot.hist.html#matplotlib-pyplot-hist
Parameters:
x: (n,) array or sequence of (n,) arrays
bins: int or sequence or str, default: rcParams["hist.bins"] (default: 10) 数组的意思
组数=极差/组距=(max-min)/bins
/
不行会有小数点, 所以用//
整除,bins 组数 = (max(time) - min(time)) // 组距import matplotlib.pyplot as plt
%matplotlib inline
# 中文显示问题
plt.rcParams['font.sans-serif']=['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False # 用来正常显示负号
# 1、准备数据
time = [131, 98, 125, 131, 124, 139, 131, 117, 128, 108, 135, 138, 131, 102, 107, 114, 119, 128, 121, 142, 127, 130, 124, 101, 110, 116, 117, 110, 128, 128, 115, 99, 136, 126, 134, 95, 138, 117, 111,78, 132, 124, 113, 150, 110, 117, 86, 95, 144, 105, 126, 130,126, 130, 126, 116, 123, 106, 112, 138, 123, 86, 101, 99, 136,123, 117, 119, 105, 137, 123, 128, 125, 104, 109, 134, 125, 127,105, 120, 107, 129, 116, 108, 132, 103, 136, 118, 102, 120, 114,105, 115, 132, 145, 119, 121, 112, 139, 125, 138, 109, 132, 134,156, 106, 117, 127, 144, 139, 139, 119, 140, 83, 110, 102,123,107, 143, 115, 136, 118, 139, 123, 112, 118, 125, 109, 119, 133,112, 114, 122, 109, 106, 123, 116, 131, 127, 115, 118, 112, 135,115, 146, 137, 116, 103, 144, 83, 123, 111, 110, 111, 100, 154,136, 100, 118, 119, 133, 134, 106, 129, 126, 110, 111, 109, 141,120, 117, 106, 149, 122, 122, 110, 118, 127, 121, 114, 125, 126,114, 140, 103, 130, 141, 117, 106, 114, 121, 114, 133, 137, 92,121, 112, 146, 97, 137, 105, 98, 117, 112, 81, 97, 139, 113,134, 106, 144, 110, 137, 137, 111, 104, 117, 100, 111, 101, 110,105, 129, 137, 112, 120, 113, 133, 112, 83, 94, 146, 133, 101,131, 116, 111, 84, 137, 115, 122, 106, 144, 109, 123, 116, 111,111, 133, 150]
# 2、创建画布
plt.figure(figsize=(20, 8), dpi=80)
# 3、绘制直方图
distance = 2 # 组距
group_num = int((max(time) - min(time)) / distance)
# group_num = (max(time) - min(time)) // distance
plt.hist(time, bins=group_num, density=True)
# 修改x轴刻度
plt.xticks(range(min(time), max(time) + distance, distance))
# 添加网格
plt.grid(linestyle="--", alpha=0.5)
# 添加标题
plt.title("电影时长分布状况")
# 4、显示图像
plt.show()
1.注意组距
组距会影响直方图呈现出来的数据分布,因此在绘制直方图的时候需要多次尝试改变组距
2.注意Y轴所代表的变量
Y轴上的变量可以是 频次 (数据出现了多少次) 、频率 (频次/总次数) 、频率/组距,不同的变量会让直方图描述的数据分布意义不同。
直方图的应用场景
例如:用户年龄分布,商品价格分布
用于表示不同分类的占比情况,通过弧度大小来对比各种分类。
特点:分类数据的占比情况(占比)
matplotlib.pyplot.pie(x, labels=None, autopct=None, colors=None)
添加axis
为了让显示的饼图保持圆形,需要添加axis保证长宽一样
plt.axis('equal')
import matplotlib.pyplot as plt
%matplotlib inline
# 中文显示问题
plt.rcParams['font.sans-serif']=['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False # 用来正常显示负号
# 1、准备数据
movie_name = ['雷神3:诸神黄昏','正义联盟','东方快车谋杀案','寻梦环游记','全球风暴','降魔传','追捕','七十七天','密战','狂兽','其它']
place_count = [60605,54546,45819,28243,13270,9945,7679,6799,6101,4621,20105]
# 2、创建画布
plt.figure(figsize=(20, 8), dpi=80)
# 3、绘制饼图
plt.pie(place_count, labels=movie_name, colors=['#b3c1ed','#de6a75','#d5e1e7','#c7f781','#42eb84','#f8d8e4','#06ecfe','#7357b3','#fbad7d','#a3ea98','#fedb45'], autopct="%1.2f%%")
# 显示图例
plt.legend()
plt.axis('equal')# 保证长宽一样,让圆饼看起来圆
# 添加标题
plt.title("不同的电影的排片占比")
# 4、显示图像
plt.show()
例如:班级男女分布占比,公司销售额占比,这种时候用柱状图就可以了。