Python数据分析与展示（2）——Numpy数据存取与函数
最近在中国大学mooc网学习Python数据分析与展示相关知识，记入下来，以供参考。
Numpy数据存取与函数
数据的CSV文件存取
CSV文件
CSV (Comma‐Separated Value, 逗号分隔值)
CSV是一种常见的文件格式，用来存储批量数据
将数据写入CSV文件中
np.savetxt(frame, array, fmt=’%.18e’, delimiter=None)• frame : 文件、字符串或产生器，可以是.gz或.bz2的压缩文件
• array : 存入文件的数组
• fmt : 写入文件的格式，例如：%d %.2f %.18e
• delimiter : 分割字符串，默认是任何空格（由于CSV要求用逗号分隔数据，故而使用时将其 定义为逗号）
In [9]:import numpy as np
In [10]:a = np.arange(100).reshape(5,20)
In [11]:np.savetxt('a.scv',a,fmt = '%d',delimiter=',')
In [12]:for line in open("a.csv"):
print(line)
0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19
20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39
40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59
60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79
80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99读入文件
np.loadtxt(frame, dtype=np.float, delimiter=None， unpack=False)• frame : 文件、字符串或产生器，可以是.gz或.bz2的压缩文件
• dtype : 数据类型，可选
• delimiter : 分割字符串，默认是任何空格
• unpack : 如果True，读入属性将分别写入不同变量
In [22]:b = np.loadtxt('a.csv',dtype=np.int, delimiter = ',')
In [22]:b
Out[23]:
array([[ 0, 1, 2, ..., 17, 18, 19],
[20, 21, 22, ..., 37, 38, 39],
[40, 41, 42, ..., 57, 58, 59],
[60, 61, 62, ..., 77, 78, 79],
[80, 81, 82, ..., 97, 98, 99]])CSV文件的局限性
CSV只能有效存储一维和二维数组
np.savetxt() np.loadtxt()只能有效存取一维和二维数组
多维数据的存取
写入文件
a.tofile(frame, sep=”, format=’%s’)• frame : 文件、字符串
• sep : 数据分割字符串，如果是空串，写入文件为二进制
• format : 写入数据的格式
a = np.arange(100).reshape(5,10,2)
a.tofile('b.dat',sep=',',format = '%d')#丧失维度信息
f = open('b.dat')
print(f.read())
0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79,80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99读入文件
np.fromfile(frame, dtype=float, count=‐1, sep=” )• frame : 文件、字符串
• dtype : 读取的数据类型
• count : 读入元素个数，‐1表示读入整个文件
• sep : 数据分割字符串，如果是空串，写入文件为二进制
In [32]:c = np.fromfile('b.dat',dtype=np.int,sep=',')
In [33]:c
Out[33]: array([ 0, 1, 2, ..., 97, 98, 99])#无维度信息
In [34]:c = np.fromfile('b.dat',dtype=np.int,sep=',').reshape(5,10,2)
In [35]:c
Out[35]:
array([[[ 0, 1],
[ 2, 3],
[ 4, 5],
...,
[94, 95],
[96, 97],
[98, 99]]])注意
该方法需要读取时知道存入文件时数组的维度和元素类型
a.tofile()和np.fromfile()需要配合使用
可以通过元数据文件来存储额外信息
NumPy的便捷文件存取
np.save(fname, array) 或np.savez(fname, array)
• fname : 文件名，以.npy为扩展名，压缩扩展名为.npz
• array : 数组变量
np.load(fname)
• fname : 文件名，以.npy为扩展名，压缩扩展名为.npz
NumPy的随机数函数
NumPy的random子库
- np.random.*
- np.random.rand()
- np.random.randn()
- np.random.randint()
- …
np.random的随机函数
| 函数 | 说明 |
|---|---|
| rand(d0,d1,..,dn) | 根据d0‐dn创建随机数数组，浮点数，[0,1)，均匀分布 |
| randn(d0,d1,..,dn) | 根据d0‐dn创建随机数数组，标准正态分布 |
| randint(low[,high,shape]) | 根据shape创建随机整数或整数数组，范围是[low, high) |
| seed(s) | 随机数种子，s是给定的种子值 |
| shuffle(a) | 根据数组a的第1轴进行随排列，改变数组x |
| permutation(a) | 根据数组a的第1轴产生一个新的乱序数组，不改变数组x |
| choice(a[,size,replace,p]) | 从一维数组a中以概率p抽取元素，形成size形状新数组 replace表示是否可以重用元素，默认为False |
| uniform(low,high,size) | 产生具有均匀分布的数组,low起始值,high结束值,size形状 |
| normal(loc,scale,size) | 产生具有正态分布的数组,loc均值,scale标准差,size形状 |
| poisson(lam,size) | 产生具有泊松分布的数组,lam随机事件发生率,size形状 |
NumPy的统计函数
| 函数 | 说明 |
|---|---|
| sum(a, axis=None) | 根据给定轴axis计算数组a相关元素之和，axis整数或元组 |
| mean(a, axis=None) | 根据给定轴axis计算数组a相关元素的期望，axis整数或元组 |
| average(a,axis=None,weights=None) | 根据给定轴axis计算数组a相关元素的加权平均值 |
| std(a, axis=None) | 根据给定轴axis计算数组a相关元素的标准差 |
| var(a, axis=None) | 根据给定轴axis计算数组a相关元素的方差 |
| min(a) max(a) | 计算数组a中元素的最小值、最大值 |
| argmin(a) argmax(a) | 计算数组a中元素最小值、最大值的降一维后下标 |
| unravel_index(index, shape) | 根据shape将一维下标index转换成多维下标 |
| ptp(a) | 计算数组a中元素最大值与最小值的差 |
| median(a) | 计算数组a中元素的中位数（中值） |
NumPy的梯度函数
| 函数 | 说明 |
|---|---|
| np.gradient(f) | 计算数组f中元素的梯度，当f为多维时，返回每个维度梯度 |
梯度：连续值之间的变化率，即斜率
XY坐标轴连续三个X坐标对应的Y轴值：a, b, c，其中，b的梯度是： (c‐a)/2