numpy科学计算包的使用2

利用数组进行数据处理

NumPy数组使你可以将许多种数据处理任务表述为简洁的数组表达式（否则需要编写循环）。用数组表达式代替循环的做法，通常被称为矢量化。
矢量化数组运算要比等价的纯Python方式快上一两个数量级

利用数组进行数据处理 将条件逻辑表述为数组运算

传统方式缺点：

• 列表推导的局限性
• 纯Python代码，速度不够快。
• 无法应用于高维数组

解决方法：where

# -*- coding: utf-8 -*-

import numpy as np
import numpy.random as np_random

'''
关于zip函数的一点解释，zip可以接受任意多参数，然后重新组合成1个tuple列表。
zip([1, 2, 3], [4, 5, 6], [7, 8, 9])
返回结果：[(1, 4, 7), (2, 5, 8), (3, 6, 9)]
'''
print('通过真值表选择元素')
x_arr = np.array([1.1, 1.2, 1.3, 1.4, 1.5])
y_arr = np.array([2.1, 2.2, 2.3, 2.4, 2.5])
cond = np.array([True, False, True, True, False])
result = [(x if c else y) for x, y, c in zip(x_arr, y_arr, cond)] # 通过列表推到实现
print(result)
print(np.where(cond, x_arr, y_arr) ) # 使用NumPy的where函数

print('更多where的例子')
arr = np_random.randn(4, 4)
print(arr)
print(np.where(arr > 0, 2, -2))
print(np.where(arr > 0, 2, arr))

print('where嵌套')
cond_1 = np.array([True, False, True, True, False])
cond_2 = np.array([False, True, False, True, False])
# 传统代码如下
result = []
for i in range(len(cond)):
    if cond_1[i] and cond_2[i]:
        result.append(0)
    elif cond_1[i]:
        result.append(1)
    elif cond_2[i]:
        result.append(2)
    else:
        result.append(3)
print(result)
# np版本代码
result = np.where(cond_1 & cond_2, 0, np.where(cond_1, 1, np.where(cond_2, 2, 3)))
print(result)

利用数组进行数据处理 数学和统计方法

统计函数

# -*- coding: utf-8 -*-

import numpy as np
import numpy.random as np_random

print('求和，求平均')
arr = np.random.randn(5, 4)
print(arr)
print(arr.mean())
print(arr.sum())
print(arr.mean(axis = 1))  # 对每一行的元素求平均
print(arr.sum(0))  # 对每一列元素求和，axis可以省略。

'''
cumsum:
- 按列操作：a[i][j] += a[i - 1][j]
- 按行操作：a[i][j] += a[i][j - 1]
cumprod:
- 按列操作：a[i][j] *= a[i - 1][j]
- 按行操作：a[i][j] *= a[i][j - 1]
'''
print('cunsum和cumprod函数演示')
arr = np.array([[0, 1, 2], [3, 4, 5], [6, 7, 8]])
print(arr.cumsum(0))
print(arr.cumsum(1))
print(arr.cumprod(0))
print(arr.cumprod(1))

利用数组进行数据处理 用于布尔型数组的方法

sum对True值计数
any和all测试布尔型数组，对于非布尔型数组，所有非0元素将会被当做True

import numpy as np
import numpy.random as np_random

print('对正数求和')
arr = np_random.randn(100)
print(arr)
print((arr > 0).sum())

print('对数组逻辑操作')
bools = np.array([False, False, True, False])
print(bools.any()) # 有一个为True则返回True
print(bools.all()) # 有一个为False则返回False

利用数组进行数据处理 排序

直接排序
指定轴排序

import numpy as np
import numpy.random as np_random

print('一维数组排序')
arr = np_random.randn(8)
arr.sort()
print(arr)

print('二维数组排序')
arr = np_random.randn(5, 3)
print(arr)
arr.sort(1) # 对每一行元素做排序
print(arr)

print('找位置在5%的数字')
large_arr = np_random.randn(1000)
large_arr.sort()
print(large_arr[int(0.05 * len(large_arr))])

利用数组进行数据处理 去重以及其它集合运算

去重

import numpy as np
import numpy.random as np_random

print('用unique函数去重')
names = np.array(['Bob', 'Joe', 'Will', 'Bob', 'Will', 'Joe', 'Joe'])
print(sorted(set(names)))  # 传统Python做法
print(np.unique(names))
ints = np.array([3, 3, 3, 2, 2, 1, 1, 4, 4])
print(np.unique(ints))

print('查找数组元素是否在另一数组')
values = np.array([6, 0, 0, 3, 2, 5, 6])
print(np.in1d(values, [2, 3, 6]))

数组文件的输入输出

将数组以二进制格式保存到磁盘
存取文本文件

import numpy as np
print('数组文件读写')
arr = np.arange(10)
np.save('some_array', arr)
print(np.load('some_array.npy'))

print('多个数组压缩存储')
np.savez('array_archive.npz', a = arr, b = arr)
arch = np.load('array_archive.npz')
print(arch['b'])
print ('读取csv文件做为数组')
arr = np.loadtxt('array_ex.txt', delimiter = ',')
print (arr)

线性代数

常用的numpy.linalg函数

Paste_Image.png

Paste_Image.png

import numpy as np
import numpy.random as np_random
from numpy.linalg import inv, qr

print('矩阵乘法')
x = np.array([[1., 2., 3.], [4., 5., 6.]])
y = np.array([[6., 23.], [-1, 7], [8, 9]])
print(x.dot(y))
print(np.dot(x, np.ones(3)))
x = np_random.randn(5, 5)

print('矩阵求逆')
mat = x.T.dot(x)
print(inv(mat))  # 矩阵求逆
print(mat.dot(inv(mat))) # 与逆矩阵相乘，得到单位矩阵。

print('矩阵消元')
print(mat)
q, r = qr(mat)
print(q)
print(r)
# TODO: http://docs.scipy.org/doc/numpy/reference/generated/numpy.linalg.qr.html q代表什么矩阵？

随机数生成

Paste_Image.png

Paste_Image.png

数组的合并和拆分

Paste_Image.png

import numpy as np
import numpy.random as np_random


print('连接两个二维数组')
arr1 = np.array([[1, 2, 3], [4, 5, 6]])
arr2 = np.array([[7, 8, 9], [10, 11, 12]])
print(np.concatenate([arr1, arr2], axis = 0))  # 按行连接
print(np.concatenate([arr1, arr2], axis = 1))  # 按列连接

# 所谓堆叠，参考叠盘子。。。连接的另一种表述
print('垂直stack与水平stack')
print(np.vstack((arr1, arr2))) # 垂直堆叠
print(np.hstack((arr1, arr2))) # 水平堆叠

print('拆分数组')
arr = np_random.randn(5, 5)
print(arr)
print('水平拆分')
first, second, third = np.split(arr, [1, 3], axis = 0)
print('first')
print(first)
print('second')
print(second)
print('third')
print(third)
print('垂直拆分')
first, second, third = np.split(arr, [1, 3], axis = 1)
print('first')
print(first)
print('second')
print(second)
print('third')
print(third)
print

# 堆叠辅助类
arr = np.arange(6)
arr1 = arr.reshape((3, 2))
arr2 = np_random.randn(3, 2)
print('r_用于按行堆叠')
print(np.r_[arr1, arr2])
print('c_用于按列堆叠')
print(np.c_[np.r_[arr1, arr2], arr])
print('切片直接转为数组')
print(np.c_[1:6, -10:-5])

例题

例题分析 距离矩阵计算
给定m × n阶矩阵X，满足X = [x 1 , x 2 , ... x n ]，这里第i列向量是m维向量。
求n × n矩阵，使得D ij = ||x i - x j || 2