Python进行数据分析的核心库肯定是Pandas,该库差不多可以解决结构化数据的绝大部分处理需求。在《Python数据分析常用函数及参数详解,可以留着以备不时之需 》一文中也已经对该库的常用函数进行了详细介绍。
但是Pandas是构建在Numpy的基础之上的,它的矢量化运算功能在处理数组和矩阵上具有着非常大的优势。虽然普通的数据分析任务可能很少用到Numpy库,但一旦你具有循环需求或是要处理数值型数据时,你应该首先想到该库。
本文整理了该库的一些常用函数和基础知识,整理不易,希望觉得还不错的朋友可以不吝给个赞。
在介绍函数之前先介绍下Numpy库的基本情况,该库最重要的特点就是其ndarray对象,这个对象可以理解成线性代数里面的数组,每个数组有维度和类型等属性。
直观地判断数组对象有几个维度可通过判断其包含在几层[]中,一层[]即为一维。其中,一维数组可看成是向量,二维数组可看成是有行和列的数据,三维数组可看成是有页,且每页中有行和列的数据,至于更高维度就只能意会了。
数组并不是只能存数值型数据,是也可以存字符串的,但它要求元素类型必须一致,不一致时会按照str > float > int的优先级进行类型转变。例如,在一个整数数组中插入字符串,就会将全部元素转成字符串类型。
另外说一下广播机制。通俗地理解广播机制就是当对不同形状的数组进行算术运算时,广播机制会自动将两个数组补全为相同形状的数组。但需要具备以下前提条件之一:两个数组维度数不等时,二者从末尾开始算起的维度的轴长度相等;两个数组维度数相等时,其中一方的有一个维度的长度为1。关于这一点的理解最好是多加练习。
为了更好地理解该库的函数,本文将常用的函数按照下面方式进行分类。
其中基础函数包含对象创建、属性查看、切片索引、形状变换等小类;random模块就是一些常用的随机函数;char模块主要是用来处理字符数组类,也就是数组元素是字符串类型的数据;Matlib是Numpy中的矩阵库,矩阵其实是一种特殊的数组,但它必须是二维的;linglg库是属于线性代数的函数库。
后三个库的函数一般常用于科学计算和图像识别等领域,在数据分析中几乎用不上,因此本文不做介绍,但大家应该知道有这两个库,便于有需求时知道Numpy也具备相应的功能。
以下均用arr表示数组,np表示numpy库
array(object, dtype =None,order =None, ndmin =0)
#order为创建方式,C为行方向,F为列方向,默认为C,ndmin指定生成数组的最小维度
arange(start=0,stop=4,step=,dtype=)
#生成一维数组,不包含stop
linspace(start=,stop=,num=,endpoint=True)
#生成一维等差数据,endpoint决定是否包含stop值,默认包含
asarray(object,dtype=None,order=None)
#将对象转换为数组
zeros(shape,dtype=float,order='C')
#生成元素全为0的数组
ones(shape,dtype=float,order='C')
#生成元素全为1的数组
eye(N,dtype=float,order='C')
#生成对角线元素为1,其余元素为0的N阶矩阵
arr.shape
#数组的形状
arr.ndim
#数组的维度
arr.size
#数组的长度
arr.dtype
#数组数据类型
arr[i]
#取i行
arr[[i,j]]
#取i,j行
arr[:,i:j]
#取i到j-1列
arr[::-1,::-1]
#元素反转
np.where(condition,x,y)
#condition为真的数组中数据赋值x,否则为y
arr.reshape(newshape,order=None)
#newshape为新维度,元组格式
arr.flatten(order='C')
#将数组平铺为一维数组,order表示按行还是按列,默认按行
arr.T
#数组转置
arr.transpose()
#数组转置
np.append(arr,values,axis=None)
#axis控制返回什么类型,默认返回的是拼接后的一维数组
np.concatenate((arr1,arr2,arr3),axis=0)
#可拼接多个数组
arr.sum(axis = None)
#axis为整数或者元组
arr.mean(axis = None)
#计算平均值
arr.std(axis = None)
#计算标准差
arr.var(axis = None)
#计算方差
np.average(arr,axis =None, weights =None)
#计算数组的加权平均值,weights中为权重
np.median(arr,axis=None)
# 计算数组中元素的中位数
arr.argmin(axis=None)
##返回数组最小值的位置
arr.argmax(a)
#返回数组最大值的位置
np.dot(arr1,arr2)
#数组的点积运算
随机函数在生成练习数据等方面是非常有帮助的,可以重点掌握一下。
np.random.rand(d0,d1,d2,……)
#返回输入维度的随机数,随机数服从[0, 1)区间的均匀分布
np.random.randn(d0,d1,d2,……)
#返回输入维度的标准正态分布随机数
np.random.normal(loc=0.0,scale=1.0,size=None)
#返回输入维度的正态分布随机数,可控制正态分布的期望和方差
np.random.randint(low=,high=,size=None,dtype='l')
#返回属于[low,high)区间的随机整数,size可为元组
np.random.seed(s)
#随机数种子,可保证两次随机数生成的结果一样