一、numpy简介
numpy是Python的一种开源的数值计算扩展库。这种库可用来存储和处理大型numpy数组，比Python自身的嵌套列表结构要高效的多（该结构也可以用来表示numpy数组）。
1、numpy库作用：
- 区别于list列表，提供了数组操作、数组运算、以及统计分布和简单的数学模型 。
- 计算速度快，甚至要由于python内置的简单运算，使得其成为pandas(分析结构化数据的工具集)、sklearn(Scikit-learn(sklearn)是机器学习中常用的第三方模块)等模块的依赖包。
高级的框架如TensorFlow、PyTorch等，其数组操作也和numpy非常相似。
2、NumPy 是一个运行速度非常快的数学库，主要用于数组计算，包含：
- 一个强大的N维数组对象 ndarray
- 广播功能函数
- 整合 C/C++/Fortran 代码的工具
- 线性代数、傅里叶变换、随机数生成等功能
3、NumPy 应用
NumPy 通常与 SciPy（Scientific Python）和 Matplotlib（绘图库）一起使用， 这种组合广泛用于替代 MatLab，是一个强大的科学计算环境，有助于我们通过 Python 学习数据科学或者机器学习。
- SciPy: 是一个开源的 Python 算法库和数学工具包。SciPy 包含的模块有最优化、线性代数、积分、插值、特殊函数、快速傅里叶变换、信号处理和图像处理、常微分方程求解和其他科学与工程中常用的计算。
- Matplotlib: 是 Python 编程语言及其数值数学扩展包 NumPy 的可视化操作界面。它为利用通用的图形用户界面工具包，如 Tkinter, wxPython, Qt 或 GTK+ 向应用程序嵌入式绘图提供了应用程序接口（API）。
二、为什么用numpy
lis1 = [1, 2, 3] lis2 = [4, 5, 6]
如果我们想让lis1 * lis2得到一个结果为lis_res = [4, 10, 18]，非常复杂。
三、创建numpy数组
numpy数组即numpy的ndarray对象，
1、将列表转换创建numpy数组，可选择显式指定dtype
import numpy as np arr = np.array([1, 2, 3]) # 创建一维的ndarray对象 print(arr, type(arr)) # [1 2 3]arr = np.array([[1, 2, 3], [4, 5, 6]], dtype=np.float32) print(arr) print(np.array([[1, 2, 3], [4, 5, 6]])) # 创建二维的ndarray对象 # [[1 2 3] # [4 5 6]] print(np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])) # 创建三维的ndarray对象 # [[1 2 3] # [4 5 6] # [7 8 9]]
2、arange方式创建numpy数组
# 构造0-9的ndarray数组 print(np.arange(10)) # [0 1 2 3 4 5 6 7 8 9] # 构造1-4的ndarray数组 print(np.arange(1, 5)) # [1 2 3 4] # 构造1-19且步长为2的ndarray数组 print(np.arange(1, 20, 2)) # [ 1 3 5 7 9 11 13 15 17 19]
3、其他方式创建numpy数组
# 构造3*4的全0的numpy数组 print(np.zeros((3, 4))) #zeros():根据指定形状和dtype创建全0数组 # [[0. 0. 0. 0.] # [0. 0. 0. 0.] # [0. 0. 0. 0.]] # 构造3*4的全1的numpy数组 print(np.ones((3, 4))) #ones():根据指定形状和dtype创建全1数组 [[1. 1. 1. 1.] [1. 1. 1. 1.] [1. 1. 1. 1.]] # 构造一个4*4的随机的numpy数组，里面的元素是随机生成的 print(np.empty((4, 4))) #empty():创建一个元素全随机的数组 # [[ 2.31584178e+077 -1.49457545e-154 3.95252517e-323 0.00000000e+000] # [ 0.00000000e+000 0.00000000e+000 0.00000000e+000 0.00000000e+000] # [ 0.00000000e+000 0.00000000e+000 0.00000000e+000 0.00000000e+000] # [ 0.00000000e+000 0.00000000e+000 1.29074055e-231 1.11687366e-308]] arr = np.ones([2, 2], dtype=int) print(arr.reshape(4, 1)) #reshape():重塑形状 # [[1] # [1] # [1] # [1]] # 构造一个等差数列，取头也取尾，从0取到20，取5个数 print(np.linspace(0, 20, 5)) # linspace/logspace():类似arange()，第三个参数为数组长度 # [ 0. 5. 10. 15. 20.] # 构造一个等比数列，从10**0取到10**20，取5个数 print(np.logspace(0, 20, 5)) # [1.e+00 1.e+05 1.e+10 1.e+15 1.e+20] # 构造3个主元的单位numpy数组 print(np.eye(3)) #eye():创建单位矩阵 # [[1. 0. 0.] # [0. 1. 0.] # [0. 0. 1.]]
4、numpy或pandas中reshape()重塑形状（行列转换）的用法
例子：
z = np.array([[1, 2, 3, 4],
[5, 6, 7, 8],
[9, 10, 11, 12],
[13, 14, 15, 16]])
z.shape
#(4, 4)四行撕裂
1.z.reshape(-1)或z.reshape(1,-1)，转换成1行，列数未知。即将数组横向平铺。
z.reshape(-1) #array([ 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16])
2.z.reshape(-1, 1))，转换成1列，行数未知。即将数组纵向平铺。
z.reshape(-1,1)
# array([[ 1],
[ 2],
[ 3],
[ 4],
[ 5],
[ 6],
[ 7],
[ 8],
[ 9],
[10],
[11],
[12],
[13],
[14],
[15],
[16]])
3.z.reshape(-1, 2)，newshape列数等于2，行数未知，reshape后的shape等于(8, 2)
z.reshape(-1, 2)
# array([[ 1, 2],
[ 3, 4],
[ 5, 6],
[ 7, 8],
[ 9, 10],
[11, 12],
[13, 14],
[15, 16]])
4、numpy.random生成随机数
举例：
rs = np.random.RandomState(1) # RandomState()方法会让数据值随机一次，之后都是相同的数据 print(rs.rand(10)) # [4.17022005e-01 7.20324493e-01 1.14374817e-04 3.02332573e-01 # 1.46755891e-01 9.23385948e-02 1.86260211e-01 3.45560727e-01 # 3.96767474e-01 5.38816734e-01] np.random.seed(1) # seed()方法会让数据值随机一次，之后都是相同的数据 print(np.random.rand(3, 4)) # rand产生均匀分布的随机数。dn为第n维数据的维度。这里构造3*4的均匀分布的numpy数组 # [[4.17022005e-01 7.20324493e-01 1.14374817e-04 3.02332573e-01] # [1.46755891e-01 9.23385948e-02 1.86260211e-01 3.45560727e-01] # [3.96767474e-01 5.38816734e-01 4.19194514e-01 6.85219500e-01]] print(np.random.rand(3, 4, 5)) # 构造3*4*5的均匀分布的numpy数组 # [[[0.20445225 0.87811744 0.02738759 0.67046751 0.4173048 ] # [0.55868983 0.14038694 0.19810149 0.80074457 0.96826158] # [0.31342418 0.69232262 0.87638915 0.89460666 0.08504421] # [0.03905478 0.16983042 0.8781425 0.09834683 0.42110763]] # # [[0.95788953 0.53316528 0.69187711 0.31551563 0.68650093] # [0.83462567 0.01828828 0.75014431 0.98886109 0.74816565] # [0.28044399 0.78927933 0.10322601 0.44789353 0.9085955 ] # [0.29361415 0.28777534 0.13002857 0.01936696 0.67883553]] # # [[0.21162812 0.26554666 0.49157316 0.05336255 0.57411761] # [0.14672857 0.58930554 0.69975836 0.10233443 0.41405599] # [0.69440016 0.41417927 0.04995346 0.53589641 0.66379465] # [0.51488911 0.94459476 0.58655504 0.90340192 0.1374747 ]]] # 构造3*4的正态分布的numpy数组 print(np.random.randn(3, 4)) #randn产生标准正态分布随机数。dn为第n维数据的维度 # [[ 0.30017032 -0.35224985 -1.1425182 -0.34934272] # [-0.20889423 0.58662319 0.83898341 0.93110208] # [ 0.28558733 0.88514116 -0.75439794 1.25286816]] # 构造取值为1-5内的10个元素的ndarray数组 print(np.random.randint(1, 5, 10)) # randint(low[, high, size, dtype])：产生随机整数。low:最小值；high:最大值；size:数据个数 # [1 1 1 2 3 1 2 1 3 4] # 构造取值为0-1内的3*4的numpy数组 print(np.random.random_sample((3, 4))) # random_sample([size])：在[0,1)[0,1)内产生随机数。size为随机数的shape，可以为元祖或者列表 # [[0.62169572 0.11474597 0.94948926 0.44991213] # [0.57838961 0.4081368 0.23702698 0.90337952] # [0.57367949 0.00287033 0.61714491 0.3266449 ]] arr = np.array([1, 2, 3]) # 随机选取arr中的两个元素 print(np.random.choice(arr, size=2)) # choice(a[, size])：从arr中随机选择指定数据。arr为1维数组；size为数组形状 # [1 3] arr = np.random.uniform(1, 5, (2, 3)) #uniform(low,high [,size])：给定形状产生随机数组。low为最小值；high为最大值，size为数组形状 print(arr) # [[4.72405173 3.30633687 4.35858086] # [3.49316845 2.29806999 3.91204657]] np.random.shuffle(arr) # shuffle(a)：与random.shuffle相同。a为指定数组 print(arr) # [[3.49316845 2.29806999 3.91204657] # [4.72405173 3.30633687 4.35858086]]
5、 fromstring/fromfunction(了解)
fromstring：通过对字符串的字符编码所对应ASCII编码的位置，生成一个ndarray对象
s = 'abcdef' # np.int8表示一个字符的字节数为8 print(np.fromstring(s, dtype=np.int8)) # [ 97 98 99 100 101 102]
fromfunction：使用函数对numpy数组元素的行和列的索引做处理，得到当前元素的值。
索引从0开始，并构造一个3*4的numpy数组 print(np.fromfunction(func, (3, 4)))
def func(i, j):
"""其中i为numpy数组的行，j为numpy数组的列"""
return i * j
# 使用函数对numpy数组元素的行和列的索引做处理，得到当前元素的值，索引从0开始，并构造一个3*4的numpy数组
print(np.fromfunction(func, (3, 4)))
# [[0. 0. 0. 0.]
# [0. 1. 2. 3.]
# [0. 2. 4. 6.]]
四、常用属性
举例：
arr = np.array([[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12]]) print(arr) # [[ 1 2 3 4] # [ 5 6 7 8] # [ 9 10 11 12]] print(arr[:, :]) # 取所有元素 # [[ 1 2 3 4] # [ 5 6 7 8] # [ 9 10 11 12]] print(arr[:1, :]) # [[1 2 3 4]] # 取第一行的所有元素 print(arr[0, [0, 1, 2, 3]]) # [1 2 3 4] # 取第一行的所有元素 print(arr[:, :1]) # 取第一列的所有元素 # [[1] # [5] # [9]] print(arr[(0, 1, 2), 0]) # [1 5 9] # 取第一列的所有元素 print(arr[0, 0]) # 1 # 取第一行第一列的元素 print(arr[arr > 5]) # [ 6 7 8 9 10 11 12] # 取大于5的元素，返回一个数组 print(arr > 5) # numpy数组按运算符取元素的原理，即通过arr > 5生成一个布尔numpy数组 # [[False False False False] # [False True True True] # [ True True True True]]
五、切割
切分numpy数组类似于列表的切割，但是与列表的切割不同的是，numpy数组的切割涉及到行和列的切割，但是两者切割的方式都是从索引0开始，并且取头不取尾。
arr = np.array([[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12]]) print(arr) # [[ 1 2 3 4] # [ 5 6 7 8] # [ 9 10 11 12]] print(arr[:, :]) # 取所有元素 # [[ 1 2 3 4] # [ 5 6 7 8] # [ 9 10 11 12]] print(arr[:1, :]) # [[1 2 3 4]] # 取第一行的所有元素 print(arr[0, [0, 1, 2, 3]]) # [1 2 3 4] # 取第一行的所有元素 print(arr[:, :1]) # 取第一列的所有元素 # [[1] # [5] # [9]] print(arr[(0, 1, 2), 0]) # [1 5 9] # 取第一列的所有元素 print(arr[0, 0]) # 1 # 取第一行第一列的元素 print(arr[arr > 5]) # [ 6 7 8 9 10 11 12] # 取大于5的元素，返回一个数组 print(arr > 5) # numpy数组按运算符取元素的原理，即通过arr > 5生成一个布尔numpy数组 # [[False False False False] # [False True True True] # [ True True True True]]
七、元素替换
numpy数组元素的替换，类似于列表元素的替换，并且numpy数组也是一个可变类型的数据，即如果对numpy数组进行替换操作，会修改原numpy数组的元素，所以下面我们用.copy()方法举例numpy数组元素的替换。
arr = np.array([[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12]]) print(arr) # [[ 1 2 3 4] # [ 5 6 7 8] # [ 9 10 11 12]] arr1 = arr.copy() arr1[:1, :] = 0 # 取第一行的所有元素，并且让第一行的元素都为0 print(arr1) # [[ 0 0 0 0] # [ 5 6 7 8] # [ 9 10 11 12]] arr2 = arr.copy() arr2[arr > 5] = 0 # 取所有大于5的元素，并且让大于5的元素为0 print(arr2) # [[1 2 3 4] # [5 0 0 0] # [0 0 0 0]] arr3 = arr.copy() arr3[:, :] = 0 # 对numpy数组清零 print(arr3) # [[0 0 0 0] # [0 0 0 0] # [0 0 0 0]]
八、合并
arr1 = np.array([[1, 2], [3, 4], [5, 6]]) print(arr1) # [[1 2] # [3 4] # [5 6]] arr2 = np.array([[7, 8], [9, 10], [11, 12]]) print(arr2) # [[ 7 8] # [ 9 10] # [11 12]] print(np.concatenate((arr1, arr2), axis=0)) # 合并两个numpy数组，其中axis=0表示合并两个numpy数组的行 # [[ 1 2] # [ 3 4] # [ 5 6] # [ 7 8] # [ 9 10] # [11 12]] print(np.concatenate((arr1, arr2), axis=1)) # 合并两个numpy数组，其中axis=1表示合并两个numpy数组的列 # [[ 1 2 7 8] # [ 3 4 9 10] # [ 5 6 11 12]] print(np.vstack((arr1, arr2))) # 合并两个numpy数组的行，其中vstack的v表示vertical垂直的，垂直方向的合并 # [[ 1 2] # [ 3 4] # [ 5 6] # [ 7 8] # [ 9 10] # [11 12]] print(np.hstack((arr1, arr2))) # 合并两个numpy数组的列，其中hstack的h表示horizontal水平的，水平方向的合并 # [[ 1 2 7 8] # [ 3 4 9 10] # [ 5 6 11 12]]
九、运算符
arr1 = np.array([[1, 2], [3, 4], [5, 6]]) print(arr1) # [[1 2] # [3 4] # [5 6]] arr2 = np.array([[7, 8], [9, 10], [11, 12]]) print(arr2) # [[ 7 8] # [ 9 10] # [11 12]] print(arr1 + arr2) # +：两个numpy数组对应元素相加 ；-减；*乘；/相除取整；%相除取余 # [[ 8 10] # [12 14] # [16 18]] print(arr1**2) # **n：单个numpy数组每个元素都取n次方，如**2：每个元素都取平方 # [[ 1 4] # [ 9 16] # [25 36]]
十、运算函数
- 一元函数：abs, sqrt, exp, log, ceil, floor, rint, trunc, modf, isnan, isinf, cos, sin, tan
- 二元函数：add, substract, multiply, divide, power, mod, maximum, mininum
arr = np.array([[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12]]) print(arr) # [[ 1 2 3 4] # [ 5 6 7 8] # [ 9 10 11 12]] print(np.sin(arr)) # 对numpy数组的所有元素取正弦，cos余弦，tan正切 # [[0.84147098 0.90929743 0.14112001 - 0.7568025] # [-0.95892427 - 0.2794155 0.6569866 0.98935825] # [0.41211849 - 0.54402111 - 0.99999021 - 0.53657292]] print(np.sqrt(arr)) # 对numpy数组的所有元素开根号，.exp指数函数 # [[1. 1.41421356 1.73205081 2. ] # [2.23606798 2.44948974 2.64575131 2.82842712] # [3. 3.16227766 3.31662479 3.46410162]] print(np.arcsin(arr * 0.1)) # 对numpy数组的所有元素取反正弦，如果元素不在定义域内，则会取nan值 # [[0.10016742 0.20135792 0.30469265 0.41151685] # [0.52359878 0.64350111 0.7753975 0.92729522] # [1.11976951 1.57079633 nan nan]] # RuntimeWarning: invalid # value # encountered in arcsin # 判断矩阵元素中是否含有np.nan值 print(np.isnan(arr)) # [[False False False False] # [False False False False] # [False False False False]]
十一、矩阵化
arr1 = np.array([[1, 2, 3], [4, 5, 6]]) print(arr1.shape) # (2, 3) arr2 = np.array([[7, 8], [9, 10], [11, 12]]) print(arr2.shape) # (3, 2) assert arr1.shape[0] == arr2.shape[1] # 1、numpy数组的点乘必须满足第一个numpy数组的列数等于第二个numpy数组的行数，即m∗n⋅n∗m=m∗mm∗n·n∗m=m∗m。 # 2*3·3*2 = 2*2 print(arr2.shape) # (3, 2) arr = np.array([[1, 2, 3], [4, 5, 6]]) print(arr) # [[1 2 3] # [4 5 6]] print(arr.transpose()) # 2、numpy数组的转置，相当于numpy数组的行和列互换。 # [[1 4] # [2 5] # [3 6]] print(arr.T) # [[1 4] # [2 5] # [3 6]] arr = np.array([[1, 2, 3], [4, 5, 6], [9, 8, 9]]) print(arr) # [[1 2 3] # [4 5 6] # [9 8 9]] print(np.linalg.inv(arr)) # 3、numpy数组的逆，numpy数组行和列相同时，numpy数组才可逆。 # [[ 0.5 -1. 0.5 ] # [-3. 3. -1. ] # [ 2.16666667 -1.66666667 0.5 ]] arr = np.eye(3) # 单位numpy数组的逆是单位numpy数组本身 print(arr) # [[1. 0. 0.] # [0. 1. 0.] # [0. 0. 1.]] print(np.linalg.inv(arr)) # [[1. 0. 0.] # [0. 1. 0.] # [0. 0. 1.]]
十二、numpy数组的数学和统计方法
1、最大最小值、平均、求和
arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) print(arr) # [[1 2 3] # [4 5 6] # [7 8 9]] print(arr.max()) # 9 # 获取numpy数组所有元素中的最大值 print(arr.min()) # 1 # 获取numpy数组所有元素中的最小值 print(arr.max(axis=0)) # [7 8 9] # 获取numpy数组每一行的最大值 print(arr.max(axis=1)) # [3 6 9] # 获取numpy数组每一列的最大值 print(arr.argmax(axis=1)) # [2 2 2] # 获取numpy数组最大元素的索引位置 argmin：求最小值索引 arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) print(arr) # [[1 2 3] # [4 5 6] # [7 8 9]] print(arr.sum()) # 45 # 对numpy数组的每一个元素求和 print(arr.sum(axis=0)) # [12 15 18] # 对numpy数组的每一列求和 print(arr.sum(axis=1)) # [ 6 15 24] # 对numpy数组的每一行求和 arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) print(arr) # [[1 2 3] # [4 5 6] # [7 8 9]] print(arr.mean()) # 5.0 # 获取numpy数组所有元素的平均值 print(arr.mean(axis=0)) # [4. 5. 6.] # 获取numpy数组每一列的平均值 print(arr.mean(axis=1)) # [2. 5. 8.] # 获取numpy数组每一行的平均值
2、累加和
arr = np.array([1, 2, 3, 4, 5]) print(arr) # [1 2 3 4 5] print(arr.cumsum()) # [ 1 3 6 10 15] # 第n个元素为前n-1个元素累加和
3、排序
numpy.sort(a, axis, kind, order)：返回输入数组的排序副本
- a: 要排序的数组
- axis: 沿着它排序数组的轴，如果没有数组会被展开，沿着最后的轴排序， axis=0 按列排序，axis=1 按行排序
- kind: 默认为'quicksort'（快速排序） ，
'mergesort'（归并排序），'heapsort'（堆排序） - order: 如果数组包含字段，则是要排序的字段
a = np.array([[3,7],[9,1]])
print (a)
#[[3 7]
# [9 1]]
print (np.sort(a))
#[[3 7]
# [1 9]]
print (np.sort(a, axis = 0)) #按列排序：
#[[3 1]
# [9 7]]
dt = np.dtype([('name', 'S10'),('age', int)])
a = np.array([("raju",21),("anil",25),("ravi", 17), ("amar",27)], dtype = dt)
print (a)
# [(b'raju', 21) (b'anil', 25) (b'ravi', 17) (b'amar', 27)]
print (np.sort(a, order = 'name')) 在 sort 函数中排序字段;按 name 排序：
# [(b'amar', 27) (b'anil', 25) (b'raju', 21) (b'ravi', 17)]
4、 方差
方差公式为
其中x为numpy数组。
arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) print(arr) # [[1 2 3] # [4 5 6] # [7 8 9]] print(arr.var()) # 6.666666666666667 # 获取numpy数组所有元素的方差 print(arr.var(axis=0)) # [6. 6. 6.] # 获取numpy数组每一列的元素的方差 print(arr.var(axis=1)) # [0.66666667 0.66666667 0.66666667] # 获取numpy数组每一行的元素的方差
5、 标准差
标准差公式为：
arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) print(arr) # [[1 2 3] # [4 5 6] # [7 8 9]] print(arr.std()) # 2.581988897471611 # 获取numpy数组所有元素的标准差 print(arr.std(axis=0)) # [2.44948974 2.44948974 2.44948974] # 获取numpy数组每一列的标准差 print(arr.std(axis=1)) # [0.81649658 0.81649658 0.81649658] # 获取numpy数组每一行的标准差
6、 中位数
arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) print(arr) # [[1 2 3] # [4 5 6] # [7 8 9]] print(np.median(arr)) # 5.0 # 获取numpy数组所有元素的中位数 print(np.median(arr, axis=0)) # [4. 5. 6.] # 获取numpy数组每一列的中位数 print(np.median(arr, axis=1)) # [2. 5. 8.] # 获取numpy数组每一行的中位数
到此这篇关于Python数组模块numpy的文章就介绍到这了。希望对大家的学习有所帮助，也希望大家多多支持脚本之家。