Python数据分析与展示：NumPy数据存取与函数
NumPy数据存取与函数
数据的CSV文件存取
CSV：(Comma-Separated Value,逗号分隔值)
CSV是一种常见的文件格式，用来储存批量的数据。
CSV文件–百度百科
将数据写入CSV文件：
np.savetxt(frame,array,fmt='%.18e',delimiter=None)
- frame：文件、字符串或产生器，可以是.gz或.bz2的压缩文件。
- array：存入文件的数组。
- fmt：写入文件的格式，例如：%d %.2f %.18e。
- delimiter：分割字符串，默认为任何空格。
将CSV中的数据读入到NumPy中的数组类型：
np.loadtxt(frame,dtype=np.float,delimiter=None,unpack=False)
- frame：文件、字符串、或产生器，可以是.gz或.bz2的压缩文件。
- dtype：数据类型，可选。#在loadtxt中，我们需要将CSV中的每一个元素由字符串变为一个特定的格式，即用到dtype来指定。（默认状态下为浮点数类型）
- delimiter：分割字符串，默认是任何空格。
- unpack：如果True，读入属性将分别写入不同变量。#将unpack默认为False，即默认为读入一个数组。
CSV文件的局限性：
CSV只能有效存储一维和二维数组。
多维数据的存取
a.tofile(frame,sep='',format='%s')
- frame：文件、字符串。
- sep：数据分割字符串，如果是空串（即不指定sep时），写入文件为二进制格式。
- format：写入数据的格式。
#事实上二进制文件相较于文本文件占用了更小的空间，如果掌握了显示字符的编码以及字节之间的关系，就能理解图中二进制格式的数据。我们可以将它作为数据备份的一种方式。
np.fromfile(frame,dtype=float,count=-1,sep='')
- frame：文件、字符串。
- dtype：读取的数据类型。#无论什么样的方法，从文件中读取元素的时候总要制定一个数据类型，只有这样才能正确的解析元素的内容。（默认情况下为float类型）
- count：读入元素的个数，-1表示读入一整个文件。
- sep：数据分割字符串，如果为空串，写入文件为二进制。
#刚开始创建的c为一个一维数组，要想使得c与a的形状相同，我们需要用.reshape()来制定c的形状。（即将数组写入文件之后，其中的维度信息丢失，我们需要知道维度信息才能够有效地还原原数组）。
需要注意：a.tofile()和np.fromfile()需要配合使用。
那我们怎么才能知道元素存储的类型和维度？？？
可以通过元数据文件来存储额外信息。（再写一个文件，将要存储的数组的每个元素类型以及它的维度作为元信息存储起来。有效但显然复杂且麻烦）。
NumPy的便捷文件存取
np.save(frame,array) 或np.savez(frame,array)#savez()方法是将数组以压缩的格式存入文件中。
- frame：文件名，以.npy为扩展名，压缩扩展名为.npz。#这种方法的写入和读取必须基于NumPy自定义的文件格式。
- array：数组变量。
np.load(frame)#可以直接还原回数组的维度以及相关信息。
- frame：文件名，以.npy为扩展名，压缩扩展名为.npz。
#用二进制工具打开存储的a.npy文件，我们可以看到文件事实上是以二进制的形式将数组存储起来，而在这个文件的最开始，用显式的方式将数组的元信息写到了第一行中，这样在NumPy的load()函数读取这个文件时，可以通过解析第一行的元信息，得到文件中储存数据的大致形状和适用类型，最终有效地还原回一个数组。
使用什么样的方法来存取文件，需要针对不同的使用场景来判断。
Numpy的随机数函数
Numpy的random子库
| 函数 | 说明 |
|---|---|
| rand(d0,d1,…,dn) | 跟据d0-dn创建随机数数组，浮点数，[0,1)，均匀分布 |
| rand(d0,d1,…,dn) | 跟据d0-dn创建随机数数组，其中元素的选择符合标准正态分布 |
| randint(low[,high=None, size=None, dtype=’l’]) | 跟据shape即数组维度创建随机整数或者整数数组，范围是[low,high)，均匀分布，size为元素的个数，dtype为元素的类型 |
| seed(s) | 随机数种子，s是给定的种子值 |
| shuffle(a) | 跟据数组a的第一轴（即最外维度）进行行随机排列，改变数组a |
| permutation(a) | 跟据数组a的第一轴产生一个新的乱序数组，不改变数组a |
| choice(a[,size,replace,p]) | 从一维数组a中以概率p抽取元素，形成size形状的新数组。replace表示是否可以重用元素，默认为True |
| uniform(low,high,size) | 产生具有均匀分布的数组，low起始值，high结束值，size形状 |
| normal(loc,scale,size) | 产生具有正态分布的数组，loc均值，scale标准差，size形状 |
| poisson(lam,size) | 产生具有泊松分布的数组，lam随机事件发生率，size形状 |
#通过设定和重复使用同一个随机数种子，我们可以在测试的时候产生相同的随机数数组。
#p=b/np.sum(b) 表示的是元素的值越大，其被抽取到的概率越高。
NumPy的统计函数
统计函数，能够对数组中的数据进行统计运算的函数。
axis=None是统计函数的标配参数，默认情况下不输入就是对整个数组所有元素进行统计计算，如果给定了轴，就是对轴上的元素进行相关计算。
| 函数 | 说明 |
|---|---|
| sum(a,axis=None) | 跟据给定轴axis计算数组a相关元素之和，axis整数或者元组，即对第n维所有元素求和 |
| mean(a,axis=None) | 跟据给定轴axis计算数组a相关元素的期望，axis整数或者元组 |
| average(a,axis=None,weights=None) | 跟据给定轴axis计算数组a相关元素的加权平均值 weight为权重，若不给出，则按照等权重 |
| std(a,axis=None) | 跟据给定轴axis计算数组a相关元素的标准差 |
| var(a,axis=None) | 跟据给定轴axis计算数组a相关元素的方差 |
| min(a) max(a) | 计算数组a中元素的最小值、最大值 |
| argmin(a) argmax(a) | 计算数组a中元素的最小值、最大值的降一维后下标（即是寻找数组中最小值、最大值所在的位置，但这个位置是被扁平化成一维之后的位置） |
| unravel_index(index,shape) | 跟据shape将一维下标index转换为多维下标（即对下标的去扁平化，重塑为多维下标） |
| ptp(a) | 计算数组a中元素最大值与最小值的差 |
| median(a) | 计算数组a中元素的中位数（中值）#中位数的运算使通过公式求得的，结果为一个浮点数 |
NumPy的梯度函数
np.gradient(f) #计算数组中f元素的梯度，当f为多维时，返回每个维度梯度
梯度：连续值之间的变化率，即斜率。
XY坐标轴连续三个X坐标对应的Y轴值：a，b，c 其中b的梯度为(c-a)/2
梯度反映了元素的变化率，尤其是在我们进行图像、声音等批量数据处理的时候，有助于我们发现图像或声音的边缘。在变化不平滑的位置，通过梯度的运算，很容易能够发现。在图像处理、声音处理等运算的过程中，gradient()函数能够发挥很大的作用。
#所有视频截图均来自中国大学mooc北京理工大学嵩天老师的课程
《Python数据分析与展示》