Python 数据分析与展示
学习内容
Numpy数据表示、Matplotlib绘图、Pandas数据分析这三个库
Anaconda IDE的使用
conda、Spyder、IPython的使用
实例：图像的手绘风格、引力波的绘制、房价趋势分析、股市数据的分析
Anaconda IDE的使用
使用anaconda navigator 启动
anaconda来源于conda（用于管理python的第三方包与python环境）其包含了conda、Python与一批第三方的库
编程工具 Spyder 包含了IPython（交互式命令行）
IPython中的？可以得到变量信息与函数信息、%run命令可以运行python程序，在运行时会使用空的命令空间、%magic可以显示所有的魔术命令
image ![Uploading polar_331910.png . . .]
数据的表示Numpy
数据的维度：一组数据的组织形式
Numpy 一个开源的科学计算库，提供了一个强大的N维数组对象：ndarray，具有数学计算的功能
ndarray由实际的数据与描述数据的元数据两部分组成，一般要求数据的类型相同。
生成ndarray：
- np.array([[],[]]，dtype=np.float32)，也可以使用元组进行创建
- np.arrange(n) 类似range()函数
- np.ones(shape)、np.zeros(shape)、np.full(shape,val)根据元组shape生成一个全1、全0、全val的ndarray数组
- np.eye(n) 创建一个n维单位阵（以上均可以由dtype指定数据类型）
- np.ones_like(a)、np.zeros_like(a)、np.full_like(a,val) 由a给定形状
- np.linspace() 由起止数等间距地填充数据，形成数组，类似于range，但是给定的参数为start、end、number
- np.concatenate() 将两个或多个数组合并成同一个数组
ndarray对象的属性：
| 属性 | 说明 |
|---|---|
| .ndim | 维度的数量 |
| .shape | ndarray的尺度 |
| .size | 对象中元素的个数 |
| .dtype | 对象元素类型 |
| .itemsize | 每个元素的大小，以字节为单位 |
ndarray维度变换
- .reshape(shape)不改变数组的元素，返回一个shape形状的新的数组
- resize(shape) 修改原数组
- swapaxes(ax1,ax2) 将数组的n个维度中的两个维度进行调换
- flatten() 降维 不改变原数组
ndarray数组类型变换
new_a = a.astype(new_type)
ndarray转为列表
list = a.tolist()
ndarray数组操作(索引与切片)
一维数组的索引与python类似，切片a[1:4:2] 起始编号、终止编号(不含)、步长
多维数组的索引：a[1,2,3]从最外层到最内层
多维数组的切片：a[：，1:3，：]，a[:,:,::2]
ndarray数组的运算
标量运算等价于对每一个元素进行运算
Numpy中的一元函数
- np.abs(x)、np.fabs(x)、np.sqrt(x)、np.square(x)
- np.log(x)、np.log10(x)
- np.ceil(x)、np.floor(x)计算ceiling(不超过其的最大整数值)与floor(超过其最小整数值)
- np.rint(x) 四舍五入值
- np.modf(x) 以整数和小数两个数组返回
- np.cosh(x) ···
- np.exp(x)、np.sign(x)
- ···
Numpy中的二元函数
- +-* / **
- np.maximum(x,y)、np.minimum(x,y) 元素的最大、小值，生成新的数组
- =、！=、>、<、<=、>= 比较大小返回布尔型数组
CSV文件(Comma-Separated Value,逗号分隔值)
文件单行以逗号进行分隔,常见数据库均可以读入或到处CSV文件
np.savetxt(fname,array,fmt='%.18e',delimiter=None)
- fname 文件名称
- array 要存入的数组
- fmt 写入文件的格式，如%d %0.2
- delimiter 分隔字符串，默认为空格
np.loadtxt(fname,dtype=np.float,delimiter=None,unpack=False)
- fname 文件名称
- dtype 数组元素格式
- delimiter 分隔字符串，默认为空格
- unpack 默认为False，读入数据存入一个变量
多维数组的存取
a.tofile(fid, sep="", format="%s")
- fid : 文件名或者是打开的文件对象
- sep : 数据分割字符串，空串则输出二进制文件
- format : 输出格式
np.fromfile(file, dtype=float, count=-1, sep='')
- count : int
Number of items to read.-1means all items
np.save(file, array)/np.savez(file, array)
np.load(fname)
- 存为.npy或者.npz文件
Numpy随机函数子库np.random库
- rand(d0,d1,...,dn)根据d0-dn创建随机数组，浮点数，[0,1)，均匀分布
- randn(d0,d1,...,dn) 正态分布
- randint(low[,high,shape]) 随机整数
- seed(s) 随机数种子
- shuffle(a) 将第一轴进行重排列，改变数组
- permutation(a) 由第一轴产生一个新的乱序数组，不改变数组
- choice(a[,size,replace,pl]) 从一位数组a中以概率p抽取元素，形成size形状新数组，replace表示是否可以重用，默认True
- uniform()、normal、poisson
Numpy的统计函数
- .sum(a,axis = None) 给定轴的求和或所有求和
- .mean(a,axis = None) 算数平均数
- .average(a,axis = None,weights = None) 加权平均数
- .std(a,axis = None) 标准差
- .var(a,axis = None) 方差
- .min(a) max(a)
- argmin(a) argmax(a) 一维后的最小、大值的下标
- unravel_index(index,shape) 根据shape将一维下标index转为多维下标
- ptp(a) 极差
- median(a) 中位数
- gradient(a) 计算数组的梯度 连续值之间的变化率
实例：图像的手绘表示
图像一般采用RGB表示，三个通道取值都在0-255
Python中的PIL库（Python Image Library）
安装 pip install pillow
使用 from PIL import Image
图像在计算机中的表示为一个二元矩阵，每个矩阵元素为RGB值：(R,G,B) 每个通道为一个字节，那么一个矩阵元素的大小就是3个字节(24二进制位)
# 打开图像
im_array = np.array(Image.open('D:/test.jpg'))
# 保存到文件
im = Image.fromarray(im_array)
im.save(filename)
# 灰度变换
a = np.array(Image.open('D:/test.jpg').convert('L'))
手绘图片：黑白灰色，边界线条较重，相同或者相近的颜色趋向于白色，略有光源效果
# -*- coding: utf-8 -*-
"""
图像手绘风格实例代码
"""
from PIL import Image
import numpy as np
a = np.array(Image.open('D:/leiding.jpg').convert('L')).astype('float')
depth = 10.
grad = np.gradient(a)
grad_x, grad_y = grad
grad_x = grad_x *depth/100.
grad_y = grad_y *depth/100.
A = np.sqrt(grad_x**2+grad_y**2+1.)
uni_x = grad_x/A
uni_y = grad_y/A
uni_z = 1./A
vec_e1 = np.pi/2.2
vec_az = np.pi/4
dx = np.cos(vec_e1)*np.cos(vec_az)
dy = np.cos(vec_e1)*np.sin(vec_az)
dz = np.sin(vec_e1)
b = 255*(dx*uni_x+dy*uni_y+dz*uni_z)
b = b.clip(0,255)
im = Image.fromarray(b.astype('uint8'))
im.save('D:/handpaint.jpg')
Matplotlib库
使用方法：
import matplotlib.pyplot as plt
plt.plot([3,1,4,5,2])
plt.ylabel('grade')
plt.show()
# 存为文件
plt.savefig('test',dpi = 600) #默认输出为PNG 文件
plt运行结果.png
同样也可以这样绘制：
plt.plot([0,2,4,6,8],[3,1,4,5,2])
# 给出横纵坐标的范围 横-1到10，纵0到6
plt.axis([-1,10,0,6])
# 绘图区域分割
plt.subPlot(nrows,ncols,plot_number) # 与matlab一样，标号从左到右，从上到下
# 也可以将逗号去掉，比如plt.subplot(324)
plt.plot(x,y,format_string,**kwargs)
- x: X轴数据，列表或者数组，可选，可组合使用
- y: Y轴数据，列表或者数组
- format_stirng: 控制输出字符串，可选
-
- 'b'/'g'/'#008000'/'0.8' 颜色控制字符
- '-' 实线 '--' 破折线 '-.' 点划线 ':' 虚线 '''' 无线条 曲线风格字符
- '.' 点标记 ',' 像素标记 'o' 实心圈标记 'v' 倒三角标记 '^' 上三角标记 ...... 标记字符
- **kwargs: 第二组或者更多组的(x,y,format_string)
plt中的文本显示函数
- plt.xlabel()、plt.ylabel() 对轴加上标签
- plt.title() 增加文件头
- plt.text() 任意位置增加文本
- plt.text(2,1,'str') 前两个参数表示text出现范围
- plt.annotate() 增加带箭头的注释文本
- plt.grid() 显示网格线
plt.subplot2grid(GridSpec,CurSpec,colspan=1,rowspan=1)
设定网格，选中网格，设计成不同大小的绘图子区域
- GridSpec 元组，表示将区域分成什么样子的子区域
- CurSpec 元组，表示子区域的起始格子坐标
- colspan、rowspan 表示子区域占用列、行数
同样，此函数可以使用如下库实现：
import matplotlib.gridspec as grs
gs = grs.GridSpec(3,3)
ax1 = plt.subplot(gs[0:])
ax2 = plt.subplot(gs[1,:-1])
pyplot基础图标函数
plot()函数、箱形图函数boxplot()、条形图函数bar()、横向条形图函数barh()、极坐标图函数polar()、饼图pie()
功率谱密度图函数psd()、谱图specgram()、X-Y相关性图cohere()、散点图scatter()、直方图hist()、步阶图step()、等值图contour()、垂直图vlines()、柴火图stem()、数据日期plot_date()
下面以代码说明：
# -*- coding: utf-8 -*-
"""
Created on Tue Aug 1 14:07:25 2017
@author: Administrator
"""
import matplotlib.pyplot as plt
# 饼图的标签
labels = 'Frogs','Hogs','Dogs','Logs'
# 饼图对应的尺寸，即所占比例
sizes = [15,30,45,10]
# 突出与突出的量
explode = (0,0.1,0,0)
# autopct显示百分数的方式、shadow阴影效果、startangele起始角度
plt.pie(sizes,explode=explode,labels=labels,autopct = '%1.1f%%',shadow = False,startangle = 90)
# 使得轴的度量成为一样
plt.axis('equal')
plt.show()
pie.png
# -*- coding: utf-8 -*-
"""
Created on Tue Aug 1 15:39:08 2017
@author: Administrator
"""
# 绘制直方图
import matplotlib.pyplot as plt
import numpy as np
np.random.seed(0)
mu,sigma = 100,20 #均值与标准差
a = np.random.normal(mu,sigma,size=100) # 正态分布
# a 给定数组 bin 表示直方的个数，就是取值区间的划分，纵轴表示为频次/区间长度
# normed = 0 显示频次，normed=1 显示频次/区间长度
# histtype 绘制类型 facecolor 绘制颜色
plt.hist(a,20,normed = 1,histtype = 'stepfilled',facecolor = 'b',alpha = 0.75)
plt.title('Histgram')
plt.savefig('D:/Histgram',dpi = 150)
plt.show()
Histgram.png
# -*- coding: utf-8 -*-
"""
Created on Tue Aug 1 15:48:07 2017
@author: Administrator
"""
# 极坐标图的绘制
import matplotlib.pyplot as plt
import numpy as np
# 极坐标图中的数据个数
N = 20
# 等分出20个不同的角度 0-360度
theta = np.linspace(0.0,2*np.pi,N,endpoint = False)
# 生成每个角度对应的值
radii = 10*np.random.rand(N)
# 生成宽度值
width = np.pi/4*np.random.rand(N)
# 获得绘制极坐标图的子区域
ax = plt.subplot(111,projection = 'polar')
# 前三个参数对应 theta 从何地开始绘制 radii 从中心点绘制出来的长度，width 指绘图区域的面积
bars = ax.bar(theta,radii,width=width,bottom=0.0)
for r,bar in zip(radii,bars):
bar.set_facecolor(plt.cm.viridis(r/10.))
bar.set_alpha(0.5)
plt.savefig('D:/polar',dpi = 150)
plt.show()
polar.png
# -*- coding: utf-8 -*-
"""
Created on Tue Aug 1 16:02:32 2017
@author: Administrator
"""
import numpy as np
import matplotlib.pyplot as plt
fig,ax = plt.subplots()
ax.plot(10*np.random.randn(100),10*np.random.randn(100),'o')
ax.set_title('Simple Scatter')
plt.savefig('D:/Scatter',dpi = 150)
plt.show()
Scatter.png