18. Python 数据处理之 Numpy

目录

    • 1. 简介
    • 2. 安装和导入Numpy
    • 3. ndarray 对象
    • 4. 基本运算
    • 5. 索引、切片和迭代
    • 6. 条件和布尔数组
    • 7. 变换形状
    • 8. 操作数组

1. 简介

数据分析的流程概括起来主要是:读写、处理计算、分析建模和可视化4个部分。

Numpy 是Python 进行科学计算,数据分析时,所用到的一个基础库。它是大量Python数据和科学计算包的基础,如Pandas库就用到了Numpy。

Numpy(Numerical Python)是Python的一个扩展程序库,支持大量的维度数组与矩阵运算,此外,针对数组运算也可以提供大量的数据函数库。

Numpy 是一个运行速度非常快的数学库,主要用于数组计算,包括以下方面:

  • 一个强大的N维数组对象ndarray。
  • 广播功能函数。
  • 整合C/C++/Fortran代码的工具。
  • 线性代数、傅立叶变换、随机数生成功能。

Numpy 通常与 Scipy(Scientific Python)和 Matplotlib(绘图库)一起使用,这种组合广泛用于替代MatLab,是一个强大的科学计算环境,有助于通过Python学习数据科学或者机器学习。

2. 安装和导入Numpy

安装、导入和使用Numpy:

# 安装Numpy
'''Windows 按住win+R 输入 cmd,Mac 打开Terminal
pip install numpy 
'''
import numpy as np # 导入numpy并取别名
print(np.__version__) # 如果显示版本信息,说明安装和导入成功;1.22.1
print(np.eye(3)) # 使用eye(n) 生成对角矩阵
# 输出
'''
[[1. 0. 0.]
 [0. 1. 0.]
 [0. 0. 1.]]
'''

3. ndarray 对象

ndarray 是 Numpy 库的基础,是一种由同质元素构成的多维数组。元素数量是事先指定好的,同质指的是所有元素的类型和大小都相同。数据类型由dtype(data-type,数据类型)的Numpy对象指定。每个ndarray只有一种dtype类型。

数组的维数和元素的数量由数组的形状(shape)确定,数组的形状由N个正整数组成的元组指定,元组的每个元素对应每一维的大小。数组的维统称为轴(axes),轴的数量被称作秩(rank)。

Numpy 数组的另一个特点是大小固定,在创建数组时指定大小,然后就不再发生改变。这与Python的列表有所不同,列表的大小时可以改变的。

1) 创建ndarray对象

使用array(),通过嵌套列表或元组定义为多维数组。

numpy.array(object,dtype=None,copy=True,order=None,subok=False,ndmin=0)

参数说明如下:

  • object:数组或嵌套的数列。
  • dtype:数组元素的数据类型,可选。
  • copy:对象是否需要复制,可选。
  • order:创建数组的样式,C为行方向,F为列方向,A为任意方向(默认)。
  • subok:默认返回一个与基类类型一致的数组。
  • ndmin:指定生产数组的最小维度。
import numpy as np # 导入numpy并取别名
a = np.array([1,2,3]) # 定义一维 ndarray 对象
b = np.array([[1,2],[3,4]]) # 定义多维 ndarray 对象
print(a) # 输出 [1 2 3]
print(b) 
''' 输出
[[1 2]
 [3 4]]
'''
print(b.itemsize) # 使用itemsize属性可以获取每个元素的大小(以字节为
print(b.data) # 使用data属性表示包含数组实际元素的缓冲区

使用empty()函数可以创建一个指定形状(shape)、数据类型(dtype)且未初始化的数组。

numpy.empty(shape,dtype=float,order='C')

参数说明如下:

  • shape:数组形状。
  • dtype:数据类型,可选。
  • order:有‘C’和’F’两个选项,分别代表行优先和列优先,在计算机内存中存储元素的顺序。
import numpy as np # 导入numpy并取别名
x = np.empty([2,2],dtype=int) 
print(x)
'''输出
[[1 2]
 [3 4]]
'''

使用zeros(),可以创建指定大小的数组,数组元素初始为0,语法格式和empty()相同。

import numpy as np # 导入numpy并取别名
x = np.zeros([2,2],dtype=int) 
print(x)
'''输出
[[0 0]
 [0 0]]
'''

使用ones(),可以创建指定大小的数组,数组元素初始为1,语法格式和empty()相同。

import numpy as np # 导入numpy并取别名
x = np.ones([2,2],dtype=int) 
print(x)
'''输出
[[1 1]
 [1 1]]
'''

2) 数据类型

Numpy 支持的数据类型比Python内置的类型要多,基本上与C语言的数据类型对应,具体如下:

  • bool:布尔型数据类型(True或False)
  • int:默认的整数类型(类似于C语言中的long、int32或int64)
  • intc:与C的int类型一样,一般是int32或int64
  • intp:用于索引的整数类型(类似于C的ssize_t,一般情况下仍然是int32或int64)
  • int8:字节(-128~127)
  • int16:整数(-32768~32767)
  • int32:整数(-2147483648~2147483647)
  • int64:整数
  • uint8:无符号整数(0~255)
  • uint16:无符号整数(0~65535)
  • uint32:无符号整数(0~4294967295)
  • uint64:无符号整数
  • float:float64类型的简写
  • float16:半精度浮点数,包括1个符号位,5个指数位,10个尾数位
  • float32:单精度浮点数,包括1个符号位,8个指数位,23个尾数位
  • float64:双精度浮点数,包括1个符号位,11个指数位,52个尾数位
  • complex:complex128类型的简写,即128位复数
  • complex64:复数,表示双32位浮点数(实数部分和虚数部分)
  • complex128:复数,表示双64位浮点数(实数部分和虚数部分)

3) 数组属性

Numpy中,每一个线性的数组称为一个轴(axis),也就是维度(dimension)。二维数组相当于两个一维数组,其中一个数组中每个元素又是一个一维数组。包含的主要属性如下:

  • ndarray.ndim:秩,即轴的数量或维度的数量。
  • ndarray.shape:数组的形状,对于矩阵,表示n行m列。
  • ndarray.size:数组元素的总个数,相当于n*m的值。
  • ndarray.dtype:ndarray对象的元素类型。
  • ndarray.itemsize:ndarray对象中每个元素的大小,以字节为单位。
  • ndarray.flags:ndarray对象中每个元素的内存信息。
  • ndarray.real:ndarray元素的实部。
  • ndarray.imag:ndarray元素的虚部。
  • ndarray.data:包含实际数组元素的缓冲区。一般通过数组的索引获取元素,所以通常不需要使用这个属性。
import numpy as np # 导入numpy并取别名
b = np.array([[1,2],[3,4]])
print(b)
'''输出
[[1 2]
 [3 4]]
'''
print(type(b))  # 
print(b.dtype) # int64
print(b.ndim) # 2
print(b.size) # 4
print(b.shape) # (2, 2)

4. 基本运算

1) 算术运算

import numpy as np 
a = np.array([1,2,3,4])
print(a+2) # [3 4 5 6]
print(a-2) # [-1  0  1  2]
print(a*2) # [2 4 6 8]
print(a/2) # [0.5 1.  1.5 2. ]
b = np.array([2,3,4,5])
print(b-a) # [1 1 1 1]

2) 矩阵积

dot()函数能够返回两个数组的点积。一维数组,位置相同的元素相乘,然后再求和,二维数组(矩阵)之间的运算,则得到的是矩阵积。

a.dot(b)与np.dot(a,b) 效果相同,矩阵积计算不遵循交换律,也就是np.dot(a,b)和np.dot(b,a)得到的结果不一样。

import numpy as np
a = np.array([1,2,3,4])
b = np.array([4,5,6,7])
print(np.dot(a,b))  # 60
c = np.array([[1,2],[3,4]])
d = np.array([[5,6],[7,8]])
print(np.dot(c,d))
'''输出
[[19 22]
 [43 50]]
'''
print(np.dot(d,c))
'''输出
[[23 34]
 [31 46]]
'''

3) 自增和自减

使用+=和-=运算符可以实现数组自增和自减。

import numpy as np
a = np.array([[1,2],[3,4]])
a += 1
print(a)
'''输出
[[2 3]
 [4 5]]
'''

4) 通用函数

三角函数等很多数学运算符符合通用函数的定义,计算平方根的sqrt()函数、用来取对数的log()函数和正弦函数sin()

import numpy as np
a = np.array([[1,2],[3,4]])
print(np.sin(a))
'''输出
[[ 0.84147098  0.90929743]
 [ 0.14112001 -0.7568025 ]]
'''

5) 聚合函数

聚合函数是指对一组值,进行操作,返回一个单一值作为结果的函数。

import numpy as np
a = np.array([[1,2],[3,4]])
print(a.sum()) # 10
print(a.min()) # 1
print(a.max()) # 4
print(a.std()) # 1.118033988749895

5. 索引、切片和迭代

1) 索引

访问单个元素,用法与list类似。

import numpy as np
a = np.array([1,2,3,4])
print(a[2]) # 3
b = np.array([[1,2],[3,4]])
print(b[1,1]) # 4
print(b[-1,-1]) # 4

2) 切片

切片抽取数组的一部分元素并生成新数组。

import numpy as np
a = np.array([range(0,10),range(10,20),range(20,30),range(40,50)])
print(a[1:5,1:7]) # 截取连续局部矩阵
'''输出
[[11 12 13 14 15 16]
 [21 22 23 24 25 26]
 [41 42 43 44 45 46]]
'''
print(a[[1,3],1:7])
'''输出
[[11 12 13 14 15 16]
 [41 42 43 44 45 46]]
'''

3) 迭代

对于一维数组,可以使用for进行迭代;对于二维数组,可以使用嵌套的for进行迭代,外层for扫描行,内层for扫描列。

import numpy as np
a = np.array([[1,2],[3,4]])
for row in a:
    for col in row:
        print(col,end=' ')
print(' ') # 换行

for item in a.flat: # flat 表示数组元素迭代器
    print(item,end=' ')

6. 条件和布尔数组

使用条件表达式和布尔运算符有选择地抽取元素。

import numpy as np
a = np.random.random((4,4))
print(a)
'''输出
[[0.49954069 0.42753987 0.25914236 0.1253001 ]
 [0.48690952 0.35854975 0.07134125 0.2598206 ]
 [0.15511689 0.8465675  0.9928091  0.40122818]
 [0.21870776 0.97000971 0.92714403 0.97068106]]
'''
print(a[a<0.5])
'''输出
[0.49954069 0.42753987 0.25914236 0.1253001  0.48690952 0.35854975
 0.07134125 0.2598206  0.15511689 0.40122818 0.21870776]
'''

7. 变换形状

使用reshape()函数可以改变数组的形状,该函数返回一个新数组。

import numpy as np
a = np.random.random(12)
print(a)
print(a.reshape(3,4))
a.shape = (2,6) # 直接将新形状的元组赋值给shape属性
print(a)

18. Python 数据处理之 Numpy_第1张图片

改变数组形状的操作是可逆的,使用ravel()函数可以把二维数组再变回一维数组。甚至直接改变数组shape属性的值。使用transpose()函数可以实现行、列位置的矩阵转置。

import numpy as np
a = np.array([[1,2],[3,4]])
b = a.transpose() # 行列位置转置
b
''' 输出
array([[1, 3],
       [2, 4]])
'''

8. 操作数组

1) 合并数组

合并数组有以下3种方法:

  • np.concatenate:合并维数相同的两个数组。
  • np.vstack:垂直方向合并一维数组和二维数组。
  • np.hstack:水平方向合并一维数组和二维数组。
a = np.ones((2,2))
b = np.zeros((2,2))
print(np.vstack((a,b))) # 垂直方向
''' 输出
[[1. 1.]
 [1. 1.]
 [0. 0.]
 [0. 0.]]
'''
print(np.hstack((a,b))) # 水平方向
''' 输出
[[1. 1. 0. 0.]
 [1. 1. 0. 0.]]
'''

column_stack()row_stack()两个函数把一维数组作为列或行入栈结构,以形成一个新的二维数组。

import numpy as np
a = np.array([1,2,3])
b = np.array([4,5,6])
d = np.column_stack((a,b)) 
print(d)
''' 输出
[[1 4]
 [2 5]
 [3 6]]
'''
e = np.row_stack((a,b))
print(e)
''' 输出
[[1 2 3]
 [4 5 6]]
'''

2) 切分数组

切分数组有以下3种方法:

  • np.split:分割。
  • np.vsplit:垂直分割。
  • np.hsplit:水平分割。
import numpy as np 
a = np.arange(16).reshape(4,4)
print('原数组:')
print(a)
print('默认分割(0轴):')
b = np.split(a,2)
print(b)
print('垂直方向分割:')
c = np.vsplit(a,2)
print(c)
print('水平方向分割:')
d = np.hsplit(a,2)
print(d)

18. Python 数据处理之 Numpy_第2张图片

你可能感兴趣的:(Python,python,numpy,开发语言)