Python数据分析与展示学习笔记-2-1

目录

Numpy库入门

数据存取与函数

Numpy库入门

1. 数据的维度

维度：一组数据的组织形式，数据维度就是在数据之间形成特定关系，表达多种数据含义的基础概念。

（1） 一维数据：由对等关系的有序或无序数据构成，采用线性方式组织，对应列表、集合、数组等概念
           列表：列表中每一个元素的数据类型可以不同
           数组：要求每一个元素的数据类型相同
（2）二维数据：由多个一维数据构成，是一维数据的组合形式，表格是典型的二维数据
（3）多维数据：由一维或二维数据在新维度上扩展形成
（4）高维数据：高维数据仅利用最基本的二元关系展示数据间的复杂结构，数据之间的包含、并列、属性关系
高维数据就是用键值对将数据组织起来的一种方式

数据维度	类型	表示
一维数据	列表或集合类型	[1, 2, 3, 4] 有序    {1, 2, 3, 4} 无序
二维数据	列表类型	[ [1, 2, 3, 4], [5, 6, 7, 8] ]
多维数据	列表类型
高维数据	字典类型或数据表示格式	dict = {               "firstname" : "Lu",               "lastname": "Hui"，           } 数据表示格式：JSON、 XML和YAML格式

2. Numpy库

NumPy是一个开源的Python科学计算基础库，NumPy是SciPy、 Pandas等数据处理或科学计算库的基础，包含：

• 一个强大的N维数组对象 ndarray
•  广播功能函数
•  整合C/C++/Fortran代码的工具
•  线性代数、傅里叶变换、随机数生成等功能 

import numpy as np    # 引用Numpy

3. Numpy的数组对象：ndarray

引入数组对象的原因：将n个数组当作n个数据，在数据维度相同时可以直接进行运算，简化批量数据数据处理过程，提高运算速                                      度，节省存储空间

• 数组对象可以去掉元素间运算所需的循环，使一维向量更像单个数据
• 设置专门的数组对象，经过优化，可以提升这类应用的运算速度
• 科学计算中，一个维度所有数据的类型往往相同，数组对象采用相同的数据类型，有助于节省运算和存储空间

ndarray是一个多维数组对象，由两部分构成：

•  实际的数据
• 描述这些数据的元数据（数据维度、数据类型等）

ndarray数组一般要求所有元素类型相同（同质），数组下标从0开始，其元素为对象类型。非同质ndarray无法有效发挥NumPy优势，尽量避免使用。ndarray两个基本概念：

轴（axis）:保存数据的维度
秩（rank）:轴的数量，即有几个维度

（1）ndarray对象的属性

实例：

（2）ndarray数组的元素类型

对比：Python语法仅支持整数、浮点数和复数3种类型

•  科学计算涉及数据较多，对存储和性能都有较高要求

•  对元素类型精细定义，有助于NumPy合理使用存储空间并优化性能

•  对元素类型精细定义，有助于程序员对程序规模有合理评估

（3）ndarray数组的创建

• 从Python中的列表、元组等类型创建ndarray数组

• 使用NumPy中函数创建ndarray数组，如：arange, ones, zeros等

  

  

  注：只有arange生成的是整数类型，其余默认的都是浮点数类型

• 使用NumPy中其他函数创建ndarray数组

（4）ndarray数组的变换：对于创建后的ndarray数组，可以对其进行维度变换和元素类型变换

• 维度变换：注意什么是否改变原数组

• 类型变换

new_a = a.astype(new_type)
ls = a.tolist()

astype()方法一定会创建新的数组（原始数据的一个拷贝），即使两个类型一致
tolist()数组向列表转换

​​​​​​（5）ndarray数组的操作：切片和索引，巧用“:”

• 一维数据：与python列表相似

• ​​​​​​多维数组

 

（6）ndarray数组的运算

• 数组与标量之间的运算作用于数组的每一个元素

• Numpy一元函数：对ndarray中的数据执行元素级运算的函数

 

• Numpy二元函数

  

  

数据存取与函数

1. 数据的存取

（1）一维/二维数组：CSV文件
CSV (Comma‐Separated Value, 逗号分隔值)
CSV是一种常见的文件格式，用来存储批量数据

np.savetxt(frame, array, fmt='%.18e', delimiter=None)
np.loadtxt(frame, dtype=np.float, delimiter=None， unpack=False)

注：frame : 文件、字符串或产生器，可以是.gz或.bz2的压缩文件
       array : 存入文件的数组
       fmt : 写入文件的格式，例如：%d %.2f %.18e
      delimiter : 分割字符串，默认是任何空格
      dtype : 数据类型，可选
      unpack : 如果True，读入属性将分别写入不同变量,unpack默认是False,表示读入的数据都写入一个数组

（2）多维数组
a.tofile()和np.fromfile()方法需要读取时知道存入文件时数组的维度和元素类型，且需要配合使用，可以通过元数据文件来存储额外信息

a.tofile(frame, sep='', format='%s')
np.fromfile(frame, dtype=float, count=‐1, sep='')

注：frame : 文件、字符串
       sep : 数据分割字符串，如果是空串，写入文件为二进制
       format : 写入数据的格式
       dtype : 读取的数据类型
       count : 读入元素个数，‐1表示读入整个文件

（3）Numpy的便捷文件存取：基于Numpy自定义的文件格式，适用于中间需要数据缓存的情况

np.save(fname, array) 
np.savez(fname, array)
np.load(fname)

注：fname : 文件名，以.npy为扩展名，压缩扩展名为.npz
       array : 数组变量

2. Numpy函数

• 随机函数

  

  

  
• 统计函数
  

• 梯度函数：n维的数组，gradient就有n个数组
  梯度反映了元素的变化率，明确的边界，在进行图像声音等批量数据处理的时候，有助于我们发现图像或者声音的边缘

  

---