NumPy数值计算基础（超详细的numpy使用方法）

NumPy数值计算基础

• NumPy是在1995年诞生的Python库Numeric的基础上建立起来的，但真正促使NumPy的发行的是Python的SciPy库。但SciPy中并没有合适的类似于Numeric中的对于基础数据对象处理的功能。于是，SciPy的开发者将SciPy中的一部分和Numeric的设计思想结合，在2005年发行了NumPy。
• NumPy是Python的一种开源的数值计算扩展库。它包含很多功能，如创建n维数组（矩阵）、对数组进行函数运算、数值积分等。 NumPy的诞生弥补了这些缺陷，它提供了两种基本的对象：
• ndarray：是储存单一数据类型的多维数组。
• ufunc：是一种能够对数组进行处理的函数。
• NumPy常用的导入格式：import numpy as np

一、NumPy多维数组

1 创建数组对象

通常来说，ndarray是一个通用的同构数据容器，即其中的所有元素都需要相同的类型。利用array函数可创建ndarray数组。

（1）利用array函数创建数组对象

array函数的格式：np.array(object, dtype,ndmin)

array函数的主要参数及说明：

import numpy as np
data1 = [1,3,5,7] #列表
w1 = np.array(data1)
print('w1:',w1)
data2 = (2,4,6,8) #元组
w2 = np.array(data2)
print('w2:',w2)
data3 = [[1,2,3,4],[5,6,7,8]] #多维数组
w3 = np.array(data3)
print('w3:',w3)

（2）专门创建数组的函数

• arange函数：创建等差一维数组
• 格式：np.arange([start, ]stop, [step, ]dtype)

例：`

warray = np.arange(10)
print(warray)
warray = np.arange(0,1,0.2)
print(warray)`

• logspace函数：创建等比一维数组
• 格式：np.logspace(start, stop, num, endpoint=True,base=10.0, dtype=None))

logspace的参数中，start, stop代表的是10的幂,默认基数base为10，第三个参数元素个数。

warray = np.logspace(0,1,5)#生成1-10间的5个元素的等比数列
print(warray)

• zeros函数：创建指定长度或形状的全0数组
• 格式：np.zeros(shape, dtype=float, order=‘C’)
• ones函数：创建指定长度或形状的全1数组
• 格式：np. ones(shape, dtype=None, order=‘C’)
• diag函数：创建一个对角阵。
• 格式：np.diag(v, k=0)

2 ndarray对象属性和数据转换

ndarray对象属性及其说明：

例：

warray = np.array([[1,2,3],[4,5,6]])
print('秩为：',warray.ndim)
print('形状为：',warray.shape)
print('元素个数为：',warray.size)

设置数组的shape属性。

warray.shape = 3,2
print(warray)

数组的类型转换。

arr1 = np.arange(6)
print(arr1.dtype)
arr2 = arr1.astype(np.float64)
print(arr2.dtype)

3 生成随机数

在NumPy.random模块中，提供了多种随机数的生成函数。如randint函数生成指定范围的随机整数来构成指定形状的数组。

用法：
np.random.randint(low, high = None, size = None)

arr = np.random.randint(100,200,size = (2,4))
print(arr)

random模块的常用随机数生成函数

4 数组变换

（1）数组重塑

与reshape相反的方法是数据散开（ravel）或数据扁平（flatten）。

arr1 = np.arange(12).reshape(3,4)
print("arr1:",arr1)
arr2 = arr1.ravel()
print("arr2:",arr2)

数据重塑不会改变原来的数组。

（2）数组合并

• hstack函数：实现横向合并
• vstack函数：实现纵向组合是利用vstack将数组纵向合并；
• concatenate函数：可以实现数组的横向或纵向合并，参数axis=1时进行横向合并，axis=0时进行纵向合并。

arr1 = np.arange(6).reshape(3,2)
arr2 = arr1*2
arr3 = np.hstack((arr1,arr2))
print(arr3)

（3）数组分割

与数组合并相反，hsplit函数、vsplit函数和split函数分别实现数组的横向、纵向和指定方向的分割。

arr = np.arange(16).reshape(4,4)
print('横向分割为:\n',np.hsplit(arr,2))
print('纵向组合为:\n',np.vsplit(arr,2))

（4）数组转置和轴对换

数组转置是数组重塑的一种特殊形式，可以通过transpose方法进行转置。

arr = np.arange(6).reshape(3,2)
print("矩阵：",arr)
print("转置矩阵：",arr.transpose((1,0)))

除了使用transpose外，可以直接利用数组的T属性进行数组转置。

二、数组的索引和切片

1、一维数组的索引类似Python中的列表。

arr = np.arange(10)#取1-10
print(arr)#输出arr
print(arr[2])#输出索引为2的元素
print(arr[-1])#输出最后一个元素
print(arr[1:4])#输出索引为1-3的元素

数组的切片返回的是原始数组的视图，不会产生新的数据，如果需要的并非视图而是要复制数据，则可以通过copy方法实现。

arr1 = arr[-4:-1].copy()
print(arr)
print(arr1)

2、多维数组的索引和切片

• 对于多维数组，它的每一个维度都有一个索引，各个维度的索引之间用逗号分隔。
• 也可以使用整数函数和布尔值索引访问多维数组。

arr = np.arange(12).reshape(3,4)
print(arr)
print(arr[0,1:3])  #索引第0行中第1列到第2列的元素
print(arr[:,2])   #索引第2列元素
print(arr[:1,:1])  #第0行第0列元素

arr = np.arange(12).reshape(3,4)
#从两个序列的对应位置取出两个整数来组成下标：arr[0,1],arr[1,3]
print(arr)
print('索引结果1：',arr[(0,1),(1,3)])
#索引第1、2行中第0、2、3列的元素
print('索引结果2：',arr[1:2,(0,2,3)])
mask = np.array([1,0,1],dtype = np.bool)
#mask是一个布尔数组，它索引第0,2行中第1列元素
print('索引结果3：',arr[mask,1])

三、数组的运算

1、数组和标量间的运算

数组之所以很强大是因为不需要通过循环就可以完成批量计算.

a = [1,2,3]
b = []
for i in a:
    b.append(i*i)
    
print("b数组:",b)
wy = np.array([1,2,3])
c= wy*2
print("c数组：",c)

2、ufunc函数

ufunc函数全称为通用函数，是一种能够对数组中的所有元素进行操作的函数。对一个数组进行重复运算时，使用ufunc函数比使用math库中的函数效率要高很多。

1. 常用的ufunc函数运算

常用的ufunc函数运算有四则运算、比较运算和逻辑运算。

1）四则运算：
加（+）、减（-）、乘（*）、除（/）、幂（**）。数组间的四则运算表示对每个数组中的元素分别进行四则运算，所以形状必须相同。

2）比较运算：
>、<、==、>=、<=、!=。比较运算返回的结果是一个布尔数组，每个元素为每个数组对应元素的比较结果。

3）逻辑运算：
np.any函数表示逻辑“or”，np.all函数表示逻辑“and”, 运算结果返回布尔值。

x = np.array([1,2,3])
y = np.array([4,5,6])
print("数组相加结果：",x+y)
print("数组相减结果：",x-y)
print("数组相乘结果：",x*y)
print("数组幂运算结果：",x**y)

数组的比较运算。

x = np.array([1,3,6])
y = np.array([2,3,4])
print('比较结果(<)：',x<y)
print('比较结果(>)：',x>y)
print('比较结果(==)：',x==y)
print('比较结果(>=)：',x>=y)
print('比较结果(!=)：',x!=y)

2. ufunc函数的广播机制

广播（broadcasting）是指不同形状的数组之间执行算术运算的方式。需要遵循4个原则：

1）让所有输入数组都向其中shape最长的数组看齐，shape中不足的部分都通过在左边加1补齐。
2）如果两个数组的形状在任何一个维度上都不匹配，那么数组的形状会沿着维度为1的维度进行扩展，以匹配另一个数组的形状。
3）输出数组的shape是输入数组shape的各个轴上的最大值。
4）如果两个数组的形状在任何一个维度上都不匹配，并且没有任何一个维度等于1，则引发异常

arr1 = np.array([[0,0,0],[1,1,1],[2,2,2]])
arr2 = np.array([1,2,3])
print("arr1:\n",arr1)
print("arr2:\n",arr2)
print("arr1+arr2:\n",arr1+arr2)

3、条件逻辑运算

在NumPy中可以利用基本的逻辑运算就可以实现数组的条件运算。

arr1 = np.array([1,3,5,7])
arr2 = np.array([2,4,6,8])
cond = np.array([True,False,True,False])
result = [(x if c else y)for x,y,c in zip(arr1,arr2,cond)]
result

这种方法对大规模数组处理效率不高，也无法用于多维数组。NumPy提供的where方法可以克服这些问题。

where的用法：
np.where(condition, x, y)
满足条件(condition)，输出x，不满足则输出y。

np.where([[True,False], [True,True]],[[1,2], [3,4]],[[9,8], [7,6]])

条件为[[True,False], [True,False]]，分别对应最后输出结果的四个值，运算时第一个值从[1,9]中选，因为条件为True，所以是选1。第二个值从[2,8]中选，因为条件为False，所以选8，后面以此类推。

w = np.array([2,5,6,3,10])
np.where(w>4)

where中若只有条件 (condition)，没有x和y，则输出满足条件元素的坐标。这里的坐标以tuple的形式给出，通常原数组有多少维，输出的tuple中就包含几个数组，分别对应符合条件元素的各维坐标。

四、数组读写

1、读写二进制文件

• NumPy提供了多种文件操作函数存取数组内容。
• 文件存取的格式分为两类：二进制和文本。而二进制格式的文件又分为NumPy专用的格式化二进制类型和无格式类型。
• NumPy中读写二进制文件的方法有：
• 1. np.load(“文件名.npy")是从二进制文件中读取数据；
• 2. np.save(“文件名[.npy]", arr) 是以二进制格式保存数据。

数组的读写：

a = np.arange(1,13).reshape(3,4)
print(a)
np.save('arr.npy', a)      # np.save("arr", a)
c = np.load( 'arr.npy' )
print(c)

多个数组保存：

a = np.array([[1,2,3],[4,5,6]])
b = np.arange(0, 1.0, 0.1)
c = np.sin(b)   #长度为10
print(c)
np.savez('result.npz', a, b, sin_array = c)
r = np.load('result.npz')
r['arr_0']   #数组a

2、读写文本文件

NumPy中读写文本文件的主要方法有：

1. np.loadtxt("…/tmp/arr.txt",delimiter = “,”)把文件加载到一个二维数组中；
2. np.savetxt("…/tmp/arr.txt", arr, fmt = “%d”, delimiter = “,”)是将数组写到某种分隔符隔开的文本文件中；
3. np.genfromtxt("…/tmp/arr.txt", delimiter = “,”)是结构化数组和缺失数据。

np.loadtxt(fname, dtype=, comments=’#’, delimiter=None, converters=None, skiprows=0, usecols=None, unpack=False, ndmin=0, encoding=‘bytes’)

五、NumPy中的数据统计与分析

1、排序

Sort函数对数据直接进行排序，调用改变原始数组，无返回值。
格式：numpy.sort(a, axis, kind, order)

参数说明：

• np.argsort函数和np.lexsort函数根据一个或多个键值对数据集进行排序。
• np.argsort(): 返回的是数组值从小到大的索引值;
• np.lexsort(): 返回值是按照最后一个传入数据排序的结果。

arr = np.array([7,9,5,2,9,4,3,1,4,3])
print('原数组：',arr)
arr.sort()
print('排序后：',arr)

带轴向参数的sort排序：

arr = np.array([[4,2,9,5],[6,4,8,3],[1,6,2,4]])
print('原数组：\n',arr)
arr.sort(axis = 1)   #沿横向排序
print('横向排序后：\n',arr)

使用argsort和lexsort函数，可以在给定一个或多个键时，得到一个由整数构成的索引数组，索引值表示数据在新的序列中的位置。

使用argsort函数进行排序

arr = np.array([7,9,5,2,9,4,3,1,4,3])
print('原数组：',arr)
print('排序后：',arr.argsort())
#返回值为数组排序后的下标排列

用lexsort排序

a = np.array([7,2,1,4])
b = np.array([5,2,6,7])
c = np.array([5,2,4,6])
d = np.lexsort((a,b,c))
print('排序后：',list(zip(a[d],b[d],c[d])))

2、重复数据与去重

在NumPy中，对于一维数组或者列表，unique函数去除其中重复的元素，并按元素由大到小返回一个新的元组或者列表。

names = np.array(['红色','蓝色','黄色','白色','红色'])
print('原数组：',names)
print('去重后的数组：',np.unique(names)) 

统计分析中有时也需要把一个数据重复若干次，使用tile和repeat函数即可实现此功能。

• tile函数的格式：np.tile(A, reps)
  其中，参数A表示要重复的数组，reps表示重复次数。

• repeat函数的格式：np.repeat(A, reps, axis = None)
  “a”: 是需要重复的数组元素，
  “repeats”: 是重复次数，
  “axis”: 指定沿着哪个轴进行重复，axis = 0表示按行进行元素重复；axis = 1表示按列进行元素重复。

使用tile函数实现数据重复

arr = np.arange(5)
print('原数组：',arr)
wy = np.tile(arr,3)
print('重复数据处理：\n',wy) 

使用repeat函数实现数据重复

arr = np.arange(5)
print('原数组：',arr)
wy = np.tile(arr,3)
print('重复数据处理：\n',wy)
arr2 = np.array([[1,2,3],[4,5,6]])
print('重复数据处理：\n',arr2.repeat(2,axis=0)) 

3、常用统计函数

NumPy中提供了很多用于统计分析的函数，常见的有sum、mean、std、var、min和max等。

几乎所有的统计函数在针对二维数组的时候需要注意轴的概念。

axis=0时表示沿着纵轴进行计算，axis=1时沿横轴进行计算。

arr = np.arange(20).reshape(4,5)
print('创建的数组：\n',arr)
print('数组的和：',np.sum(arr))
print('数组纵轴的和：',np.sum(arr,axis = 0))
print('数组横轴的和：',np.sum(arr,axis = 1))
print('数组的均值：',np.mean(arr))
print('数组横轴的均值：',np.mean(arr,axis = 1))
print('数组的标准差：',np.std(arr))
print('数组横轴的标准差：',np.std(arr,axis = 1))