NumPy基础入门
Numpy
NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。
许多深度学习框架使用Numpy作为基础的数据分析包，了解它的基础使用对于入门机器学习很有帮助。
NumPy 是一个运行速度非常快的数学库，主要用于数组计算，包含：
- 一个强大的N维数组对象 ndarray
- 广播功能函数
- 整合 C/C++/Fortran 代码的工具
- 线性代数、傅里叶变换、随机数生成等功能
下面默认已经安装了python3及NumPy包，没有安装的同学请自行安装。
NumPy Ndarray 对象
N 维数组对象 ndarray是NumPy最重要的特点，它是一系列同类型数据的集合，以 0 下标为开始进行集合中元素的索引。
ndarray 内部由以下内容组成：
- 一个指向数据（内存或内存映射文件中的一块数据）的指针。
- 数据类型或 dtype，描述在数组中的固定大小值的格子。
- 一个表示数组形状（shape）的元组，表示各维度大小的元组。
- 一个跨度元组（stride），其中的整数指的是为了前进到当前维度下一个元素需要"跨过"的字节数。
创建一个ndarray的语法：
numpy.array(object, dtype = None, copy = True, order = None, subok = False, ndmin = 0)
其中，
- object：数组或嵌套的数列
- dtype: 数组元素的类型
- copy：对象是否需要复制
- order：创建数组的样式
- subok：默认返回一个与基类类型一致的数组
- ndmin：指定生成数组的最小维度
示例：
import numpy as np
a = np.array([1,2,3]) # 一维数组，即向量
b = np.array([[1, 2], [3, 4]]) #二维数组，2行2列
c = np.array([1, 2, 3], dtype = complex) # 指定类型为复数
print("a: \n", a, "\n", "b: \n", b, "\n", "c: \n", c)
数据类型
支持的数据类型包括：
bool_, int_, intc, intp, (u)int8, (u)int16, (u)int32, (u)int64, float_, float16, float32, float64, complex_, complex64, complex128
示例：
import numpy as np
# 使用标量类型
dt = np.dtype(np.int32)
print(dt) # int32
# int8, int16, int32, int64 四种数据类型可以使用字符串 'i1', 'i2','i4','i8' 代替
a = np.dtype('i4')
print(a) # int32
数组属性
NumPy 数组的维数称为秩（rank），秩就是轴的数量，即数组的维度，一维数组的秩为 1，二维数组的秩为 2，以此类推。
在 NumPy中，每一个线性的数组称为是一个轴（axis），也就是维度（dimensions）。
比如说，二维数组相当于是两个一维数组，其中第一个一维数组中每个元素又是一个一维数组。所以一维数组就是 NumPy 中的轴（axis），第一个轴相当于是底层数组，第二个轴是底层数组里的数组。而轴的数量——秩，就是数组的维数。
很多时候可以声明 axis。axis=0，表示沿着第 0 轴进行操作，即对每一列进行操作；axis=1，表示沿着第1轴进行操作，即对每一行进行操作。
数组的属性包括：
- ndarray.ndim：秩，即轴的数量或维度的数量
- ndarray.shape：数组的维度，对于矩阵，n 行 m 列
- ndarray.size：数组元素的总个数，相当于 .shape 中 n*m 的值
- ndarray.dtype：ndarray 对象的元素类型
- ndarray.itemsize：ndarray 对象中每个元素的大小，以字节为单位
- ndarray.flags：ndarray 对象的内存信息
- ndarray.real：ndarray元素的实部
- ndarray.imag：ndarray 元素的虚部
- ndarray.data：包含实际数组元素的缓冲区，由于一般通过数组的索引获取元素，所以通常不需要使用这个属性
示例：
import numpy as np
a = np.arange(24)
print (a.ndim) # a 现只有一个维度
# 现在调整其大小
b = a.reshape(2,4,3) # b 现在拥有三个维度
print (b.ndim)
# ndarray.shape 表示数组的维度，返回一个元组，这个元组的长度就是维度的数目，即 ndim 属性(秩)。比如，一个二维数组，其维度表示"行数"和"列数"。
a = np.array([[1,2,3],[4,5,6]])
print (a.shape) # (2, 3)
# 数组的 dtype 为 int8（一个字节）
x = np.array([1,2,3,4,5], dtype = np.int8)
print (x.itemsize) # 1
# 数组的 dtype 现在为 float64（八个字节）
y = np.array([1,2,3,4,5], dtype = np.float64)
print (y.itemsize) # 8
创建数组
- numpy.empty: 创建一个指定形状（shape）、数据类型（dtype）且未初始化的数组，如：
import numpy as np
x = np.empty([3,2], dtype = int)
print (x)
- numpy.zeros：创建指定大小的数组，数组元素以 0 来填充。
- numpy.ones：创建指定形状的数组，数组元素以 1 来填充。
- numpy.asarray：从已有的数组创建数组，如：
import numpy as np
x = [1,2,3]
a = np.asarray(x)
print (a)
- numpy.frombuffer: 接受 buffer 输入参数，以流的形式读入转化成 ndarray 对象, 用于实现动态数组，如：
import numpy as np
s = b'Hello World'
a = np.frombuffer(s, dtype = 'S1')
print (a)
- numpy.fromiter: 从可迭代对象中建立 ndarray 对象，返回一维数组, 如：
import numpy as np
# 使用 range 函数创建列表对象
list=range(5)
it=iter(list)
# 使用迭代器创建 ndarray
x=np.fromiter(it, dtype=float)
print(x)
# [0. 1. 2. 3. 4.]
-
numpy.arange: 创建数值范围并返回 ndarray 对象:
numpy.arange(start, stop, step, dtype)，注意，创建的数值不包含stop值。 -
numpy.linspace：用于创建一个一维数组，数组是一个等差数列构成的：
np.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None)，如：
# 设置起始点为 1 ，终止点为 10，数列个数为 10
import numpy as np
a = np.linspace(1,10,10)
print(a)
# [ 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.]
- numpy.logspace: 用于创建一个于等比数列：
np.logspace(start, stop, num=50, endpoint=True, base=10.0, dtype=None)
切片和索引
ndarray对象的内容可以通过索引或切片来访问和修改，与 Python 中 list 的切片操作一样。
ndarray 数组可以基于 0 - n 的下标进行索引，切片对象可以通过内置的 slice 函数，并设置 start, stop 及 step 参数进行，从原数组中切割出一个新数组。
示例：
import numpy as np
a = np.arange(10)
s = slice(2,7,2) # 从索引 2 开始到索引 7 停止，间隔为2
print (a[s]) # [2 4 6]
b = a[2:7:2] # 通过冒号分隔切片参数 start:stop:step 来进行切片操作, 从索引 2 开始到索引 7 停止，间隔为 2
print(b)
b = a[5] # 如果只放置一个参数，如 [2]，将返回与该索引相对应的单个元素。如果为 [2:]，表示从该索引开始以后的所有项都将被提取。如果使用了两个参数，如 [2:7]，那么则提取两个索引(不包括停止索引)之间的项。
print(b) # 5
print(a[2:]) # [2 3 4 5 6 7 8 9]
print(a[2:5]) # [2 3 4]
a = np.array([[1,2,3],[3,4,5],[4,5,6]]) # 切片还可以包括省略号 …，来使选择元组的长度与数组的维度相同。 如果在行位置使用省略号，它将返回包含行中元素的 ndarray
print (a[...,1]) # 第2列元素
print (a[1,...]) # 第2行元素
print (a[...,1:]) # 第2列及剩下的所有元素
x = np.array([[1, 2], [3, 4], [5, 6]]) # 使用整数索引，获取数组中(0,0)，(1,1)和(2,0)位置处的元素
y = x[[0,1,2], [0,1,0]]
print (y) # [1 4 5]
a = np.array([np.nan, 1,2,np.nan,3,4,5]) # 使用了 ~（取补运算符）来过滤 NaN
print (a[~np.isnan(a)]) # [ 1. 2. 3. 4. 5.]
广播(Broadcast)
广播(Broadcast)是 numpy 对不同形状(shape)的数组进行数值计算的方式， 对数组的算术运算通常在相应的元素上进行。
示例：
import numpy as np
a = np.array([[ 0, 0, 0],
[10,10,10],
[20,20,20],
[30,30,30]])
b = np.array([1,2,3])
print(a + b) # 当运算中的 2 个数组的形状不同时，numpy 将自动触发广播机制, 数组 b 通过广播来与数组 a 兼容
# [[ 1 2 3]
# [11 12 13]
# [21 22 23]
# [31 32 33]]
广播的规则:
- 让所有输入数组都向其中形状最长的数组看齐，形状中不足的部分都通过在前面加 1 补齐。
- 输出数组的形状是输入数组形状的各个维度上的最大值。
- 如果输入数组的某个维度和输出数组的对应维度的长度相同或者其长度为 1 时，这个数组能够用来计算，否则出错。
- 当输入数组的某个维度的长度为 1 时，沿着此维度运算时都用此维度上的第一组值。
简单理解：对两个数组，分别比较他们的每一个维度（若其中一个数组没有当前维度则忽略），满足：
- 数组拥有相同形状。
- 当前维度的值相等。
- 当前维度的值有一个是 1。
若条件不满足，抛出 “ValueError: frames are not aligned” 异常。
迭代数组
import numpy as np
a = np.arange(6).reshape(2,3)
print ('迭代输出元素：')
for x in np.nditer(a):
print (x, end=", " )
print ('\n') # 0, 1, 2, 3, 4, 5,
数组操作
- numpy.reshape：在不改变数据的条件下修改形状
- numpy.ndarray.flat：数组元素迭代器
- numpy.ndarray.flatten：展开数组，回一份数组拷贝，对拷贝所做的修改不会影响原始数组
- numpy.ravel：展平的数组元素，顺序通常是"C风格"，返回的是数组视图（view，有点类似 C/C++引用reference的意味），修改会影响原始数组
- numpy.transpose：对换数组的维度，与numpy.ndarray.T 类似
- numpy.rollaxis：向后滚动特定的轴到一个特定位置
- numpy.swapaxes：交换数组的两个轴
- numpy.split：沿特定的轴将数组分割为子数组
- numpy.hsplit：用于水平分割数组，通过指定要返回的相同形状的数组数量来拆分原数组
- numpy.vsplit ：沿着垂直轴分割，其分割方式与hsplit用法相同
数学函数
- 三角函数：sin()、cos()、tan()
import numpy as np
a = np.array([0,30,45,60,90])
print ('不同角度的正弦值：')
# 通过乘 pi/180 转化为弧度
print (np.sin(a*np.pi/180))
print ('\n')
print ('数组中角度的余弦值：')
print (np.cos(a*np.pi/180))
print ('\n')
print ('数组中角度的正切值：')
print (np.tan(a*np.pi/180))
- 舍入函数:
- numpy.around() 函数返回指定数字的四舍五入值
- numpy.floor()返回小于或者等于指定表达式的最大整数，即向下取整
- numpy.ceil() 返回大于或者等于指定表达式的最小整数，即向上取整
统计函数
- numpy.amin(): 用于计算数组中的元素沿指定轴的最小值
- numpy.amax(): 用于计算数组中的元素沿指定轴的最大值
- numpy.ptp(): 函数计算数组中元素最大值与最小值的差（最大值 - 最小值）
- numpy.percentile(): 百分位数是统计中使用的度量，表示小于这个值的观察值的百分比
- numpy.median(): 函数用于计算数组 a 中元素的中位数（中值）
- numpy.mean(): 函数返回数组中元素的算术平均值
- numpy.average(): 函数根据在另一个数组中给出的各自的权重计算数组中元素的加权平均值
Matplotlib
Matplotlib 是 Python 的绘图库。 它可与 NumPy 一起使用，提供了一种有效的 MatLab 开源替代方案。
示例：
mport numpy as np
from matplotlib import pyplot as plt
x = np.arange(1,11)
y = 2 * x + 5
plt.title("Matplotlib demo")
plt.xlabel("x axis caption")
plt.ylabel("y axis caption")
plt.plot(x,y)
plt.show()
可以使用它灵活地修改字体、改变图形形状、生成柱状图等。
参考资料
https://www.runoob.com/w3cnote/matplotlib-tutorial.html
https://www.runoob.com/numpy/numpy-tutorial.html