18. Python 数据处理之 Numpy

1. 简介

数据分析的流程概括起来主要是：读写、处理计算、分析建模和可视化4个部分。

Numpy 是Python 进行科学计算，数据分析时，所用到的一个基础库。它是大量Python数据和科学计算包的基础，如Pandas库就用到了Numpy。

Numpy（Numerical Python）是Python的一个扩展程序库，支持大量的维度数组与矩阵运算，此外，针对数组运算也可以提供大量的数据函数库。

Numpy 是一个运行速度非常快的数学库，主要用于数组计算，包括以下方面：

• 一个强大的N维数组对象ndarray。
• 广播功能函数。
• 整合C/C++/Fortran代码的工具。
• 线性代数、傅立叶变换、随机数生成功能。

Numpy 通常与 Scipy（Scientific Python）和 Matplotlib（绘图库）一起使用，这种组合广泛用于替代MatLab，是一个强大的科学计算环境，有助于通过Python学习数据科学或者机器学习。

2. 安装和导入Numpy

安装、导入和使用Numpy：

# 安装Numpy
'''Windows 按住win+R 输入 cmd，Mac 打开Terminal
pip install numpy 
'''
import numpy as np # 导入numpy并取别名
print(np.__version__) # 如果显示版本信息，说明安装和导入成功；1.22.1
print(np.eye(3)) # 使用eye(n) 生成对角矩阵
# 输出
'''
[[1. 0. 0.]
 [0. 1. 0.]
 [0. 0. 1.]]
'''

3. ndarray 对象

ndarray 是 Numpy 库的基础，是一种由同质元素构成的多维数组。元素数量是事先指定好的，同质指的是所有元素的类型和大小都相同。数据类型由dtype（data-type，数据类型）的Numpy对象指定。每个ndarray只有一种dtype类型。

数组的维数和元素的数量由数组的形状（shape）确定，数组的形状由N个正整数组成的元组指定，元组的每个元素对应每一维的大小。数组的维统称为轴（axes），轴的数量被称作秩（rank）。

Numpy 数组的另一个特点是大小固定，在创建数组时指定大小，然后就不再发生改变。这与Python的列表有所不同，列表的大小时可以改变的。

1) 创建ndarray对象

使用array()，通过嵌套列表或元组定义为多维数组。

numpy.array(object,dtype=None,copy=True,order=None,subok=False,ndmin=0)

参数说明如下：

• object：数组或嵌套的数列。
• dtype：数组元素的数据类型，可选。
• copy：对象是否需要复制，可选。
• order：创建数组的样式，C为行方向，F为列方向，A为任意方向（默认）。
• subok：默认返回一个与基类类型一致的数组。
• ndmin：指定生产数组的最小维度。

import numpy as np # 导入numpy并取别名
a = np.array([1,2,3]) # 定义一维 ndarray 对象
b = np.array([[1,2],[3,4]]) # 定义多维 ndarray 对象
print(a) # 输出 [1 2 3]
print(b) 
''' 输出
[[1 2]
 [3 4]]
'''
print(b.itemsize) # 使用itemsize属性可以获取每个元素的大小（以字节为
print(b.data) # 使用data属性表示包含数组实际元素的缓冲区

使用empty()函数可以创建一个指定形状（shape）、数据类型（dtype）且未初始化的数组。

numpy.empty(shape,dtype=float,order='C')

参数说明如下：

• shape：数组形状。
• dtype：数据类型，可选。
• order：有‘C’和’F’两个选项，分别代表行优先和列优先，在计算机内存中存储元素的顺序。

import numpy as np # 导入numpy并取别名
x = np.empty([2,2],dtype=int) 
print(x)
'''输出
[[1 2]
 [3 4]]
'''

使用zeros()，可以创建指定大小的数组，数组元素初始为0，语法格式和empty()相同。

import numpy as np # 导入numpy并取别名
x = np.zeros([2,2],dtype=int) 
print(x)
'''输出
[[0 0]
 [0 0]]
'''

使用ones()，可以创建指定大小的数组，数组元素初始为1，语法格式和empty()相同。

import numpy as np # 导入numpy并取别名
x = np.ones([2,2],dtype=int) 
print(x)
'''输出
[[1 1]
 [1 1]]
'''

2) 数据类型

Numpy 支持的数据类型比Python内置的类型要多，基本上与C语言的数据类型对应，具体如下：

• bool：布尔型数据类型（True或False）
• int：默认的整数类型（类似于C语言中的long、int32或int64）
• intc：与C的int类型一样，一般是int32或int64
• intp：用于索引的整数类型（类似于C的ssize_t，一般情况下仍然是int32或int64）
• int8：字节（-128～127）
• int16：整数（-32768～32767）
• int32：整数（-2147483648～2147483647）
• int64：整数
• uint8：无符号整数（0～255）
• uint16：无符号整数（0～65535）
• uint32：无符号整数（0～4294967295）
• uint64：无符号整数
• float：float64类型的简写
• float16：半精度浮点数，包括1个符号位，5个指数位，10个尾数位
• float32：单精度浮点数，包括1个符号位，8个指数位，23个尾数位
• float64：双精度浮点数，包括1个符号位，11个指数位，52个尾数位
• complex：complex128类型的简写，即128位复数
• complex64：复数，表示双32位浮点数（实数部分和虚数部分）
• complex128：复数，表示双64位浮点数（实数部分和虚数部分）

3) 数组属性

Numpy中，每一个线性的数组称为一个轴（axis），也就是维度（dimension）。二维数组相当于两个一维数组，其中一个数组中每个元素又是一个一维数组。包含的主要属性如下：

• ndarray.ndim：秩，即轴的数量或维度的数量。
• ndarray.shape：数组的形状，对于矩阵，表示n行m列。
• ndarray.size：数组元素的总个数，相当于n*m的值。
• ndarray.dtype：ndarray对象的元素类型。
• ndarray.itemsize：ndarray对象中每个元素的大小，以字节为单位。
• ndarray.flags：ndarray对象中每个元素的内存信息。
• ndarray.real：ndarray元素的实部。
• ndarray.imag：ndarray元素的虚部。
• ndarray.data：包含实际数组元素的缓冲区。一般通过数组的索引获取元素，所以通常不需要使用这个属性。

import numpy as np # 导入numpy并取别名
b = np.array([[1,2],[3,4]])
print(b)
'''输出
[[1 2]
 [3 4]]
'''
print(type(b))  # 
print(b.dtype) # int64
print(b.ndim) # 2
print(b.size) # 4
print(b.shape) # (2, 2)

4. 基本运算

1) 算术运算

import numpy as np 
a = np.array([1,2,3,4])
print(a+2) # [3 4 5 6]
print(a-2) # [-1  0  1  2]
print(a*2) # [2 4 6 8]
print(a/2) # [0.5 1.  1.5 2. ]
b = np.array([2,3,4,5])
print(b-a) # [1 1 1 1]

2) 矩阵积

dot()函数能够返回两个数组的点积。一维数组，位置相同的元素相乘，然后再求和，二维数组（矩阵）之间的运算，则得到的是矩阵积。

a.dot(b)与np.dot(a,b) 效果相同，矩阵积计算不遵循交换律，也就是np.dot(a,b)和np.dot(b,a)得到的结果不一样。

import numpy as np
a = np.array([1,2,3,4])
b = np.array([4,5,6,7])
print(np.dot(a,b))  # 60
c = np.array([[1,2],[3,4]])
d = np.array([[5,6],[7,8]])
print(np.dot(c,d))
'''输出
[[19 22]
 [43 50]]
'''
print(np.dot(d,c))
'''输出
[[23 34]
 [31 46]]
'''

3) 自增和自减

使用+=和-=运算符可以实现数组自增和自减。

import numpy as np
a = np.array([[1,2],[3,4]])
a += 1
print(a)
'''输出
[[2 3]
 [4 5]]
'''

4) 通用函数

三角函数等很多数学运算符符合通用函数的定义，计算平方根的sqrt()函数、用来取对数的log()函数和正弦函数sin()。

import numpy as np
a = np.array([[1,2],[3,4]])
print(np.sin(a))
'''输出
[[ 0.84147098  0.90929743]
 [ 0.14112001 -0.7568025 ]]
'''

5) 聚合函数

聚合函数是指对一组值，进行操作，返回一个单一值作为结果的函数。

import numpy as np
a = np.array([[1,2],[3,4]])
print(a.sum()) # 10
print(a.min()) # 1
print(a.max()) # 4
print(a.std()) # 1.118033988749895

5. 索引、切片和迭代

1) 索引

访问单个元素，用法与list类似。

import numpy as np
a = np.array([1,2,3,4])
print(a[2]) # 3
b = np.array([[1,2],[3,4]])
print(b[1,1]) # 4
print(b[-1,-1]) # 4

2) 切片

切片抽取数组的一部分元素并生成新数组。

import numpy as np
a = np.array([range(0,10),range(10,20),range(20,30),range(40,50)])
print(a[1:5,1:7]) # 截取连续局部矩阵
'''输出
[[11 12 13 14 15 16]
 [21 22 23 24 25 26]
 [41 42 43 44 45 46]]
'''
print(a[[1,3],1:7])
'''输出
[[11 12 13 14 15 16]
 [41 42 43 44 45 46]]
'''

3) 迭代

对于一维数组，可以使用for进行迭代；对于二维数组，可以使用嵌套的for进行迭代，外层for扫描行，内层for扫描列。

import numpy as np
a = np.array([[1,2],[3,4]])
for row in a:
    for col in row:
        print(col,end=' ')
print(' ') # 换行

for item in a.flat: # flat 表示数组元素迭代器
    print(item,end=' ')

6. 条件和布尔数组

使用条件表达式和布尔运算符有选择地抽取元素。

import numpy as np
a = np.random.random((4,4))
print(a)
'''输出
[[0.49954069 0.42753987 0.25914236 0.1253001 ]
 [0.48690952 0.35854975 0.07134125 0.2598206 ]
 [0.15511689 0.8465675  0.9928091  0.40122818]
 [0.21870776 0.97000971 0.92714403 0.97068106]]
'''
print(a[a<0.5])
'''输出
[0.49954069 0.42753987 0.25914236 0.1253001  0.48690952 0.35854975
 0.07134125 0.2598206  0.15511689 0.40122818 0.21870776]
'''

7. 变换形状

使用reshape()函数可以改变数组的形状，该函数返回一个新数组。

import numpy as np
a = np.random.random(12)
print(a)
print(a.reshape(3,4))
a.shape = (2,6) # 直接将新形状的元组赋值给shape属性
print(a)

改变数组形状的操作是可逆的，使用ravel()函数可以把二维数组再变回一维数组。甚至直接改变数组shape属性的值。使用transpose()函数可以实现行、列位置的矩阵转置。

import numpy as np
a = np.array([[1,2],[3,4]])
b = a.transpose() # 行列位置转置
b
''' 输出
array([[1, 3],
       [2, 4]])
'''

8. 操作数组

1) 合并数组

合并数组有以下3种方法：

• np.concatenate：合并维数相同的两个数组。
• np.vstack：垂直方向合并一维数组和二维数组。
• np.hstack：水平方向合并一维数组和二维数组。

a = np.ones((2,2))
b = np.zeros((2,2))
print(np.vstack((a,b))) # 垂直方向
''' 输出
[[1. 1.]
 [1. 1.]
 [0. 0.]
 [0. 0.]]
'''
print(np.hstack((a,b))) # 水平方向
''' 输出
[[1. 1. 0. 0.]
 [1. 1. 0. 0.]]
'''

column_stack()和row_stack()两个函数把一维数组作为列或行入栈结构，以形成一个新的二维数组。

import numpy as np
a = np.array([1,2,3])
b = np.array([4,5,6])
d = np.column_stack((a,b)) 
print(d)
''' 输出
[[1 4]
 [2 5]
 [3 6]]
'''
e = np.row_stack((a,b))
print(e)
''' 输出
[[1 2 3]
 [4 5 6]]
'''

2) 切分数组

切分数组有以下3种方法：

• np.split：分割。
• np.vsplit：垂直分割。
• np.hsplit：水平分割。

import numpy as np 
a = np.arange(16).reshape(4,4)
print('原数组：')
print(a)
print('默认分割（0轴）：')
b = np.split(a,2)
print(b)
print('垂直方向分割：')
c = np.vsplit(a,2)
print(c)
print('水平方向分割：')
d = np.hsplit(a,2)
print(d)