Python数据分析之Numpy

Python数据分析之Numpy

1 Numpy介绍

1-1 NumPy库入门

1-1-1 数据维度的Python表示

一维数据：由对等关系的有序或无序数据构成，采用线性方式组织

二维数据：由多个一维数据构成，是一维数据的组合形式

多维数据：由一维或二维数据在新维度上扩展形成

1-1-2 NumPy介绍

NumPy是一个开源的Python科学计算基础库，包含：
• 一个强大的N维数组对象 ndarray
• 广播功能函数
• 整合C/C++/Fortran代码的工具
• 线性代数、傅里叶变换、随机数生成等功能
NumPy是SciPy、Pandas等数据处理或科学计算库的基础

ndarray优势：

• 数组对象可以去掉元素间运算所需的循环，使一维向量更像单个数据
• 设置专门的数组对象，经过优化，可以提升这类应用的运算速度
• 数组对象采用相同的数据类型，有助于节省运算和存储空间理或科学计算库的基础

举例：

import numpy as np
def npcount(a,b):
    a=np.array(a)
    b=np.array(b)
    c=a**2+b**3
    return c
a=[1,2,3,4,5]
b=[6,7,8,9,10]
print(npcount(a, b))

ndarray是一个多维数组对象，由两部分构成：
• 实际的数据
• 描述这些数据的元数据（数据维度、数据类型等）

1-1-3 NumPy属性

ndarray对象的属性

函数	说明
.ndim	秩，即轴的数量或维度的数量
.shape	ndarray对象的尺度，对于矩阵，n行m列
.size	ndarray对象元素的个数，相当于.shape中n*m的值
.dtype	ndarray对象的元素类型
.itemsize	ndarray对象中每个元素的大小，以字节为单位

#ndarray属性
import numpy as np
a=([1,2,3],[4,5,6])
b=np.array(a)
print(b)
'''
.ndim 秩，即轴的数量或维度的数量
.shape ndarray对象的尺度，对于矩阵，n行m列
.size ndarray对象元素的个数，相当于.shape中n*m的值
.dtype ndarray对象的元素类型
.itemsize ndarray对象中每个元素的大小，以字节为单位
'''
print('轴的数量',b.ndim)
print('对象的尺度',b.shape)
print('对象元素的个数',b.size)
print('对象的元素类型',b.dtype)
print('对象中每个元素的大小',b.itemsize)

ndarray具有丰富的数据类型

其中非同质（维度不一致）ndarray元素为对象类型，非同质ndarray对象无法有效发挥NumPy优势，尽量避免使用

1-1-4 NumPy创建

• 从Python中的列表、元组等类型创建ndarray数组
  指定数据类型x = np.array(list/tuple, dtype=np.float32)
• 使用NumPy中函数创建ndarray数组，如：arange, ones, zeros等

函数	说明
np.arange(n)	类似range()函数，返回ndarray类型，元素从0到n‐1
np.ones(shape)	根据shape生成一个全1数组，shape是元组类型
np.zeros(shape)	根据shape生成一个全0数组，shape是元组类型
np.full(shape,val)	根据shape生成一个数组，每个元素值都是val
np.eye(n)	创建一个正方的n*n单位矩阵，对角线为1，其余为0
np.ones_like(a)	根据数组a的形状生成一个全1数组
np.zeros_like(a)	根据数组a的形状生成一个全0数组
np.full_like(a,val)	根据数组a的形状生成一个数组，每个元素值都是val
np.linspace()	根据起止数据等间距地填充数据，形成数组
np.concatenate()	将两个或多个数组合并成一个新的数组

#ndarray数组创建
import numpy as np
#从Python中的列表、元组等类型创建ndarray数组
#x = np.array(list/tuple)
#指定数据类型x = np.array(list/tuple, dtype=np.float32)
x=np.array([[1,2,3],[1,3,4]])
print(x)
#使用NumPy中函数创建ndarray数组，如：arange, ones, zeros等
# np.arange(n) 类似range()函数，返回ndarray类型，元素从0到n‐1
print(np.arange(5))
# np.ones(shape) 根据shape生成一个全1数组，shape是元组类型
print(np.ones((5,4)))
# np.zeros(shape) 根据shape生成一个全0数组，shape是元组类型
print(np.zeros(5))
# np.full(shape,val) 根据shape生成一个数组，每个元素值都是val
print(np.full((5,3),7))
# np.eye(n) 创建一个正方的n*n单位矩阵，对角线为1，其余为0
print(np.eye(5))
a=[[1,2,3],[4,5,6]]
b=[[7,8,9]]
# np.ones_like(a) 根据数组a的形状生成一个全1数组
print(np.ones_like(a))
# np.zeros_like(a) 根据数组a的形状生成一个全0数组
print(np.zeros_like(a))
# np.full_like(a,val) 根据数组a的形状生成一个数组，每个元素值都是val
print(np.full_like(a, 6))
# np.linspace() 根据起止数据等间距地填充数据，形成数组
print(np.linspace(1, 10, 3,endpoint=False))
# np.concatenate() 将两个或多个数组合并成一个新的数组
#print('\n\n',x)
arr1 = np.array([[1,2],[3,4]])
arr2 = np.array([[5,6]])
print(np.concatenate((arr1, arr2), axis=0))

函数	说明
.reshape(shape)	不改变数组元素，返回一个shape形状的数组，原数组不变
.resize(shape)	与.reshape()功能一致，但修改原数组
.swapaxes(ax1,ax2)	将数组n个维度中两个维度进行调换
.flatten()	对数组进行降维，返回折叠后的一维数组，原数组不变
.astype(new_type)	ndarray数组的类型变换
.tolist()	ndarray数组向列表的转换

#ndarray数组的变换
import numpy as np
a = np.ones((2,3,4), dtype=np.int32)
print(a)
# .reshape(shape) 不改变数组元素，返回一个shape形状的数组，原数组不变
print(a.reshape((3,8)))
# .resize(shape) 与.reshape()功能一致，但修改原数组
a.resize((3,8))
print(a)
# .swapaxes(ax1,ax2) 将数组n个维度中两个维度进行调换
b = np.ones((2,3,4), dtype=np.int32)
print('b为\n',b)
print('调整维度之后\n',b.swapaxes(2,1))
# .flatten() 对数组进行降维，返回折叠后的一维数组，原数组不变
print(a.flatten())
# ndarray数组的类型变换new_a = a.astype(new_type)
b=a.astype(np.float)
print(b)
#ndarray数组向列表的转换 ls = a.tolist()
c=b.tolist()
print(c)

1-1-6 Ndarray数组的操作

# ndarray数组的操作
#索引和切片
#一维数组的索引和切片：与Python的列表类似
importnumpyasnp
a=np.arange(10)
print(a)
print(a[2])#索引
print(a[0:9:2])#起始编号: 终止编号(不含): 步长
#多维数组的索引和切片：
b=np.arange(24).reshape((2,3,4))
print(b)
print(b[1,2,3])#索引
print(b[-1,-2,-3])#逆向索引
#切片
#选取一个维度
print(b[:,1,3])
#每个维度切片
print(b[:,1:3,:])
#每个维度可以使用步长跳跃切片
print(b[:,:,::2])

1-1-7 Ndarray数组的运算

一元函数

函数	说明
np.sqrt(x)	计算数组各元素的平方根
np.square(x)	计算数组各元素的平方
np.log(x) np.log10(x) np.log2(x)	计算数组各元素的自然对数、10底对数和2底对数
np.ceil(x)np.floor(x)	计算数组各元素的ceiling值 或 floor值
np.rint(x)	计算数组各元素的四舍五入值
np.modf(x)	将数组各元素的小数和整数部分以两个独立数组形式返回
np.cos(x)np.cosh(x)	计算数组各元素的普通型和双曲型三角函数
np.sin(x)np.sinh(x)
np.tan(x)np.tanh(x)
np.exp(x)	计算数组各元素的指数值
np.sign(x)	计算数组各元素的符号值，1(+),0, ‐1(‐)

二元函数

函数	说明
+ ‐ * / **	两个数组各元素进行对应运算
np.maximum(x,y) np.fmax()	np.fmax()
np.minimum(x,y) np.fmin(）	元素的最大值/最小值计算
np.mod(x,y)	元素级的模运算
np.copysign(x,y)	将数组y中各元素值的符号赋值给数组x对应元素
> < >= <= == ≠	算术比较，产生布尔型数组

1-2 NumPy数据存取与函数

1-2-1 数据的CSV文件存储

文件储存

np.savetxt(frame, array, fmt=‘%.18e’, delimiter=None)
• frame : 文件、字符串或产生器，可以是.gz或.bz2的压缩文件,名称
• array : 存入文件的数组
• fmt : 写入文件的格式，例如：%d %.2f %.18e
• delimiter : 分割字符串，默认是任何空格

import numpy as np
a=np.arange(100).reshape(5,20)
np.savetxt('a.csv', a,fmt='%d',delimiter=',')

文件载入

np.loadtxt(frame, dtype=np.float, delimiter=None， unpack=False)
• frame : 文件、字符串或产生器，可以是.gz或.bz2的压缩文件
• dtype : 数据类型，可选
• delimiter : 分割字符串，默认是任何空格
• unpack : 如果True，读入属性将分别写入不同变量

import numpy as np
b=np.loadtxt('a.csv',dtype=np.int,delimiter=',')
print(b)

CSV只能有效存储一维和二维数组
np.savetxt()、np.loadtxt()只能有效存取一维和二维数组

1-2-2 多维数据的存取

多维数据的存储

a.tofile(frame, sep=‘’, format=‘%s’)
• frame : 文件、字符串
• sep : 数据分割字符串，如果是空串，写入文件为二进制
• format : 写入数据的格式

多维数据的载入

np.fromfile(frame, dtype=float, count=‐1, sep=‘’)

• frame : 文件、字符串
• dtype : 读取的数据类型
• count : 读入元素个数，‐1表示读入整个文件
• sep : 数据分割字符串，如果是空串，写入文件为二进制

该方法需要读取时知道存入文件时数组的维度和元素类型

import numpy as np
d=np.fromfile('c.dat',dtype=np.int,sep=',')
print(d.reshape(2,5,10))#需要重新划定维度

此外还有一种方法

np.save(fname, array) 或 np.savez(fname, array)
• fname : 文件名，以.npy为扩展名，压缩扩展名为.npz
• array : 数组变量
np.load(fname)
• fname : 文件名，以.npy为扩展名，压缩扩展名为.npz

import numpy as np
e=np.arange(100).reshape(2,5,10)
np.save('e.npy', e)
f=np.load('e.npy')

1-2-3 NumPy的随机数函数

基础随机数

函数	说明
rand(d0,d1,…,dn)	根据d0‐dn创建随机数数组，浮点数，[0,1)，均匀分布
randn(d0,d1,…,dn)	根据d0‐dn创建随机数数组，标准正态分布
randint(low[,high,shape])	根据shape创建随机整数或整数数组，范围是[low,
seed(s)	随机数种子，s是给定的种子值

import numpy as np
a=np.random.rand(2,3)
print(a)
b=np.random.randn(2,3)
print('b=\n',b)
c=np.random.randint(200,300,(2,3))
print('c=\n',c)
np.random.seed(10)
c1=np.random.randint(100,200,(2,3))
print('c1=\n',c1)
np.random.seed(10)
c2=np.random.randint(100,200,(2,3))#前后产生的随机数相同
print('c2=\n',c2)

随机抽取

函数	说明
shuffle(a)	根据数组a的第1轴进行随排列，改变数组x
permutation(a)	根据数组a的第1轴产生一个新的乱序数组，不改变数组x
choice(a[,size,replace,p])	从一维数组a中以概率p抽取元素，形成size形状新数组

import numpy as np
d=np.random.randint(100,200,(3,4))
print('d=\n',d)
np.random.shuffle(d)
print('\n',d)
e=np.random.permutation(d)
print('\n',e)
f=np.random.randint(100,200,(8,))
print('f=\n',f)
print('\n',np.random.choice(f,(3,2),replace=False,p=f/np.sum(f)))#数字越大被抽取概率越大

函数	说明
uniform(low,high,size)	产生具有均匀分布的数组,low起始值,high结束值,size形状
normal(loc,scale,size)	产生具有正态分布的数组,loc均值,scale标准差,size形状
poisson(lam,size)	产生具有泊松分布的数组,lam随机事件发生率,size形状

import numpy as np
print(np.random.uniform(0,10,(2,3)))
print(np.random.normal(0,10,(2,3)))
print(np.random.poisson(3,(2,3)))

1-2-4 Numpy的统计函数

函数	说明
sum(a, axis=None)	根据给定轴axis计算数组a相关元素之和，axis整数或元组
mean(a, axis=None)	根据给定轴axis计算数组a相关元素的期望，axis整数或元组
average(a,axis=None,weights=None)	根据给定轴axis计算数组a相关元素的加权平均值
std(a, axis=None)	根据给定轴axis计算数组a相关元素的标准差
var(a, axis=None)	根据给定轴axis计算数组a相关元素的方差

import numpy as np
a=np.arange(15).reshape(3,5)
print(a)
print(np.sum(a))
print(np.mean(a,axis=1))#1轴代表行
print(np.mean(a,axis=0))#0轴代表列
print(np.average(a,axis=0,weights=[10,5,1]))#加权平均
print(np.std(a))
print(np.var(a))

函数	说明
min(a) max(a)	计算数组a中元素的最小值、最大值
argmin(a) argmax(a)	计算数组a中元素最小值、最大值的降一维后下标
unravel_index(index,shape)	根据shape将一维下标index转换成多维下标
ptp(a)	计算数组a中元素最大值与最小值的差
median(a)	计算数组a中元素的中位数（中值）

import numpy as np
b=np.arange(20).reshape(2,10)
print(b)
print(np.min(b))
print(np.argmin(b))
print(np.unravel_index(np.argmin(b), b.shape))
print(np.ptp(b))
print(np.min(b))
print(np.median(b))

1-2-5 Numpy梯度函数

np.gradient(f) :计算数组f中元素的梯度，当f为多维时，返回每个维度梯度
梯度：连续值之间的变化率，即斜率

import numpy as np
b=np.random.randint(0,20,(10))
print('\nb=\n',b)
print(np.gradient(b))
c=np.random.randint(0,20,(5,4))
print('c=\n',c)
print(np.gradient(c))