Python数据分析与展示Numpy库入门

---

1 数据的维度

一维数据：

一维数据由对等关系的有序或无序数据构成，采用线性方式组织。

二维数据：

二维数据由多个一维数据构成，是一维数据的组合形式。

多维数据：

多维数据由一维或二维数据在新维度上扩展形成。

高维数据：

高维数据仅利用最基本的二元关系展示数据间的复杂结构。

数据维度的Python表示：

• 一维数据：列表和集合类型
• 二维数据：列表类型
• 多维数据：列表类型
• 高维数据：字典类型或数据表示格式（JSON、XML和YAML格式）

2 Numpy介绍

Numpy是一个开源的Python科学计算基础库。

• 一个强大N维数组对象ndarray
• 广播功能函数
• 整合C/C++/Fortran代码的工具
• 线性代数、傅里叶变换、随机数生成等功能

Numpy是Scipy、Pandas等数据处理或科学计算库的基础。

Numpy的引用：

import numpy as np

3 Numpy的数组对象：ndarry

ndarray是一个多维数组对象，由两部分构成：

• 实际的数据
• 描述这些数据的元数据（数据维度、数据类型）

ndarray数组一般要求所有元素类型相同（同质），数组下标从0开始。

ndarray对象的属性：

属性	说明
.ndim	秩，即轴的数量或维度的数量
.shape	ndarray对象的尺度，对于矩阵，n行m列
.size	ndarray对象元素的个数，相当于.shape中n*m的值
.dtype	ndarray对象的元素类型
.itemsize	ndarray对象中每个元素的大小，以字节为单位

ndarray的元素类型：

数据类型	说明
bool	布尔类型，True或False
intc	与C语言中的int类型一致，一般是int32或int64
intp	用于索引的整数，与C语言中ssize_t一致，int32或int64
int8	字节长度的整数，取值：[-128,127]
int16	16位长度的整数，取值：[-32768,32767]
int32	32位长度的整数，取值：[-231,231-1]
int64	64位长度的整数，取值：[-263,263-1]
uint8	8位无符号整数，取值：[0,255]
uint16	16位无符号整数，取值：[0,65535]
uint32	32位无符号整数，取值：[0,232-1]
uint64	64位无符号整数，取值：[0,264-1]
float16	16位半精度浮点数：1位符号位，5位指数，10位尾数
float32	32位半精度浮点数：1位符号位，8位指数，23位尾数
float64	64位半精度浮点数：1位符号位，11位指数，52位尾数
complex64	复数类型，实部和虚部都是32位浮点数
complex128	复数类型，实部和虚部都是64位浮点数

3.1 ndarray数组的创建方法

（1）从Python中的列表、元组等类型创建ndarray数组：

x = np.array(list/tuple)
x = np.array(list/tuple,dtype=np.float32)

当np.array()不指定dtype时，Numpy将根据数据情况关联一个dtype类型。

# 从列表类型创建
x = np.array([0, 1, 2, 3])
# 从元组类型创建
x = np.array((4, 5, 6, 7))
# 从列表和元组混合类型创建
x = np.array([ [1, 2], [9, 8], (0.1, 0.2)])

（2）使用Numpy中函数创建ndarray数组，如：arange，ones，zeros等

函数	说明
np.arange(n)	类似range()函数，返回ndarray类型，元素从0到n-1
np.ones(shape)	根据shape生成一个全1数组，shape是元组类型
np.zeros(shape)	根据shape生成一个全0数组，shape是元组类型
np.full(shape,val)	根据shape生成一个数组，每个元素值都是val
np.eye(n)	创建一个正方的n*n单位矩阵，对角线为1，其余为0
np.ones_like(a)	根据数组a的形状生成一个全1数组
np.zeros_like(a)	根据数组a的形状生成一个全0数组
np.full_like(a,val)	根据数组a的形状生成一个数组，每个元素值都是val

实例：

np.arrange(10)

np.ones((3,6))

np.zeros((3,6), dtype=np.int32)

np.eye(5)

（3）使用Numpy中其他函数创建ndarray数组：

函数	说明
np.linspace()	根据起止数据等间距地填充数据，形成数组
np.concatenate()	将两个或多个数组合并成一个新的数组

实例：

a = np.linspace(1, 10, 4)
# array([ 1., 4., 7., 10.])
b = np.linspace(1, 10, 4, endpoint=False)
# array([ 1. , 3.25, 5.5 , 7.75])
c = np.concatenate((a, b))
# array([ 1. , 4. , 7. , 10. , 1. , 3.25, 5.5, 7,75])

3.2 ndarray数组的变换方法

ndarray数组的维度变换：

方法	说明
.reshape(shape)	不改变数组元素，返回一个shape形状的数组，原数组不变
.resize(shape)	与.reshape()功能一致，但修改原数组
.swapaxes(ax1,ax2)	将数组n个维度中两个维度进行调换
.flatten()	对数组进行降维，返回折叠后的一维数组，原数组不变

ndarray数组的类型变换：

new_a=a.astype(new_type)

astype()方法一定会创建新的数组（原始数据的一个拷贝），即使两个类型一致。

ndarray数组向列表的转换：

ls=a.tolist()

3.3 ndarray数组的操作

数组的索引和切片：

• 索引：获取数组中特定位置元素的过程
• 切片：获取数组元素子集的过程

一维数组的索引和切片：与Python的列表类似

a = np.array([9, 8, 7, 6, 5])
a[ 1 : 4 : 2 ] # 起始编号：终止编号（不含）：步长
# array([8, 6])

多维数组的索引：

a = np.arange(24).reshape((2,3,4))
a[1, 2, 3]
# 23
a[0, 1, 2]
# 6
a[-1, -2, -3]
# 17

多维数组的切片：

a = np.arange(24).reshape((2,3,4))
a[:, 1, -3]
# array([ 5, 17])
a[:, 1:3, :]
'''
array([[[ 4, 5, 6, 7],
	    [ 8, 9, 10, 11]],
	   [[16, 17, 18, 19],
	   	[20, 21, 22, 23]]])
'''
a[:, :, ::2]
'''
array([[[ 0, 2],
	    [ 4, 6],
	    [ 8,10]],
	   [[12,14],
	    [16,18],
	    [20,22]]])
'''

3.4 ndarray数组的运算

数组与标量之间的运算：

数组与标量之间的运算作用于数组的每一个元素

Numpy一元函数：

对ndarray中的数据执行元素级运算的函数

函数	说明
np.abs(x) np.fabs(x)	计算数组各元素的绝对值
np.sqrt(x)	计算数组各元素的平方根
np.square(x)	计算数组各元素的平方
np.log(x) np.log10(x) np.los2(x)	计算数组各元素的自然对数、10底对数和2底对数
np.ceil(x) np.floor(x)	计算数组各元素的ceiling值（不超过元素的整数值）或floor值（小于元素的最大整数值）
np.rint(x)	计算数组各元素的四舍五入值
np.modf(x)	将数组各元素的小数和整数部分以两个独立数组形式返回
np.cos(x) np.cosh(x) np.sin(x) np.sinh(x) np.tan(x) np.tanh(x)	计算数组各元素的普通型和双曲型三角函数
np.exp(x)	计算数组各元素的指数值
np.sign(x)	计算数组各元素的符号值，1(+),0,-1(-)

Numpy二元函数：

函数	说明
+-*/**	两个数组各元素进行对应运算
np.maximum(x,y) np.fmax() np.minimum(x,y) np.fmin()	元素级的最大值/最小值计算
np.mod(x,y)	元素级的模运算
np.copysign(x,y)	将数组y中各元素值的符号赋值给数组x对应元素
><>=<= ==!=	算术比较，产生布尔型数组

4 Numpy数据的存取

4.1 数据的CSV文件存取

CSV文件：

• CSV（Comma-Seprated Value，逗号分隔值）
• CSV是一种常见的文件格式，用来存储批量数据
• CSV只能有效存储一维和二维数组

np.savetxt(frame,array,fmt=’%.18e’,delimiter=None)：

• frame：文件、字符串或产生器，可以是.gz或.bz2的压缩文件。
• array：存入文件的数组。
• fmt：写入文件的格式，例如：%d %.2f %.18e。
• delimiter：分割字符串，默认是任何空格。

a = np.arange(100).reshape(5, 20)
np.savetxt('a.csv', a, fmt='%d', delimiter=',')

np.loadtxt(frame,dtype=np.float,delimiter=None,unpack=False)：

• frame：文件、字符串或产生器，可以是.gz或.bz2的压缩文件。
• dtype：数据类型，可选。
• delimiter：分割字符串，默认是任何空格。
• unpack：如果True，读入属性将分别写入不同变量。

b = np.loadtxt('a.csv', dtype=np.int, delimiter=',')

4.2 多维数据的存取

a.tofile(frame,sep=’’,format=’%s’):

• frame：文件、字符串。
• sep：数据分割字符串，如果是空串，写入文件为二进制。
• format：写入数据的格式

a = np.arange(100).reshape(5, 10, 2)
a.tofile('b.dat', sep=',', format='%d')

np.fromfile(frame,dtype=float,count=-1,sep=’’):

• frame：文件、字符串。
• dtype：读取的数据类型。
• count：读入元素个数，-1表示读入整个文件。
• sep：数据分割字符串，如果是空串，写入文件为二进制。

c = np.fromfile('b.dat', dtype=np.int, sep=',').reshape(5, 10, 2)

注意：

• 该方法需要读取时知道存入文件时数组的维度和元素类型
• a.tofile()和np.fromfile()需要配合使用
• 可以通过元数据文件来存储额外信息

4.3 Numpy的便捷文件存取

np.save(fname,array)或np.savez(fname,array):

• frame：文件名，以.npy为扩展名，压缩扩展名为.npz
• array：数组变量

np.load(fname):

• frame：文件名，以.npy为扩展名，压缩扩展名为.npz

a = np.arange(100).reshape(5, 10, 2)
np.save('a.npy', a)
b = np.load('a.npy')

5 Numpy的函数

5.1 Numpy的随机数函数

np.random的随机数函数：

函数	说明
rand(d0,d1,…,dn)	根据d0-dn创建随机数数组，浮点数，[0,1),均匀分布
randn(d0,d1,…,dn)	根据d0-dn创建随机数数组，标准正态分布
randint(low[,high,shape])	根据shape创建随机整数或整数数组，范围是[low,high)
seed(s)	随机数种子，s是给定的种子值
shuffle(a)	根据数组a的第1轴进行随机排列，改变数组x
permutation(a)	根据数组a的第1轴产生一个新的乱序数组，不改变数组x
choice(a[,size,replace,p])	从一维数组a中以概率p抽取元素，形成size形状新数组，replace表示是否可以重用元素，默认为True
uniform(low,high,size)	产生具有均匀分布的数组，low起始值，high结束值，size形状
normal(loc,scale,size)	产生具有正态分布的数组，loc均值，scale标准差，size形状
poisson（lam，size）	产生具有泊松分布的数组，lam随机事件发生率，size形状

实例：

a = np.random.rand(3, 4, 5) # 3x4x5维度的数组a

sn = np.random.randn(3, 4, 5)

b = np.random.randint(100, 200, (3,4))

np.random.seed(10)
np.random.randint(100, 200, (3,4))

a = np.random.randint(100, 200, (3,4))
np.random.shuffle(a) # 数组a改变

a = np.random.randint(100, 200, (3,4))
np.random.permutation(a) # 数组a不变

b = np.random.randint(100, 200,(8,))
np.random.choice(b, (3,2))
np.random.choice(b, (3,2), replace=False)
np.random.choice(b, (3,2), p= b/np.sum(b)) # 元素值越大抽取到的概率越高

u = np.random.uniform(0, 10, (3,4))
n = np.random.normal(10, 5, (3,4))

5.2 Numpy的统计函数

np.random的统计函数：

函数	说明
sum(a,axis=None)	根据给定轴axis计算数组a相关元素之和，axis整数或元组
mean(a,axis=None)	根据给定轴axis计算数组a相关元素的期望，axis整数或元组
average(a,axis=None,weights=None)	根据给定轴axis计算数组a相关元素的加权平均值
std(a,axis=None)	根据给定轴axis计算数组a相关元素的标准差
var(a,axis=None)	根据给定轴axis计算数组a相关元素的方差
min(a) max(a)	计算数组a中元素的最小值、最大值
argmin(a) argmax(a)	计算数组a中元素最小值、最大值的降成一维后下标
unravel_index(index,shape)	根据shape将一维下标转换成多维下标
ptp(a)	计算数组a中元素最大值与最小值的差
median(a)	计算数组a中元素的中位数（中值）

axis=None是统计函数的标配参数

实例：

a = np.arange(15).reshape(3, 5)
np.sum(a)
np.mean(a, axis=1)
np.average(a, axis=0, weights=[10, 5, 1])
np.std(a)
np.var(a)

b = np.arange(15,0,-1).reshape(3, 5)
np.max(b)
np.argmax(b) # 扁平化后的下标
np.unravel_index(np.argmax(b), b.shape) # 重塑成多维下标
np.ptp(b)
np.median(b)

5.3 Numpy的梯度函数

np.random的梯度函数

函数	说明
np.gradient(f)	计算数组f中元素的梯度，当f为多维时，返回每个维度梯度

梯度：连续值之间的变化率，即斜率。
XY坐标轴连续三个X坐标对应的Y轴值：a，b，c，其中，b的梯度是：(c-a)/2

实例：

a = np.random.randint(0, 20, (5))
# array([15, 3, 12, 13, 14])
np.gradient(a)
# array([-12. , -1.5, 5. , 1. , 1. ])
# 存在两侧值：(12-15)/2；只有一侧值：(14-13)/1
b = np.random.randint(0, 20, (5))
np.gradient(b)
c = np.random.randint(0, 50, (3, 5))
'''
array([[18, 49,  1,  5, 26],
	   [40, 38, 39, 46, 47],
	   [46, 23, 16, 31, 36]])
'''
np.gradient(c)
'''
[array([[  22. , -11. ,  38. ,  41. ,  21. ], # 最外层维度的梯度
		[ 14. , -13. ,   7.5,  13. ,   5. ],
		[  6. , -15. , -23. , -15. , -11. ]]),
 array([[ 31. ,  -8.5, -22. ,  12.5,  21. ], # 第二层维度的梯度
 		[ -2. ,  -0.5,   4. ,   4. ,   1. ],
 		[-23. , -15. ,   4. ,  10. ,   5. ]])]