pandas统计分析（上）

pandas统计分析

pandas主要包括两个数据结构，即Series对象和DataFrame对象，本章主要介绍如何导入外部数据、数据抽取、以及数据的增加、修改、删除，还包括数据清洗、索引设置、数据排序与排名等，为后续数据处理和数据分析打下良好的基础。

pandas

pandas简介

pandas是python的核心数据分析库，能够简单、直观、快速的处理各种类型的数据。

pandas能够处理以下类型的数据：

• 与SQL或Excel表类似的数据
• 有序和无序（非固定频率）的时间序列数据
• 带行、列标签的矩阵数据
• 任意其他形式的观测、统计数据集

pandas优势：

• 能够处理浮点与非浮点数据里的缺失数据，表示为NaN
• 大小可变，可以插入或删除DataFrame等多维对象的列。
• 自动、显式数据对齐，显式的将对象与一组标签对齐，也可以忽略标签，在Series、DataFrame计算时自动与数据对齐
• 强大灵活的分组统计（groupby）功能，即数据聚合、转换
• 可以将python和numpy数据机构里不规则、不同索引的数据轻松的转化为DataFrame对象
• 智能标签，对大型数据集进行切片、花式索引、子集分解等操作
• 直观地合并（merge）、连接（join）数据集
• 灵活的重塑（reshape）、透视（pivot）数据集
• 成熟的导入、导出工具，导入导出各种格式文件。
• 时间序列：支持日期范围生成、频率转换、移动窗口统计、移动窗口线性回归、日期位移等时间序列功能。

pandas安装

1.常见可以使用pip工具安装：

pip install Pandas

2.pycharm安装

pycharm中点击File→Settings，打开Settings窗口，选择Project Interpreter，然后单击+按钮，此时打开了Available Package窗口，然后搜索需要添加的包名（此时是pandas），然后单击install package即可安装。

notice：有时需要解决依赖关系，在安装pandas时还需要安装xlrd，xlwt库来解决依赖关系。

导入excel数据

首先导入模块，然后导入相应的文件名即可

import pandas as pd #导入pandas模块
df = pd.read_excel('路径文件名')  #读取excel文件
df1 = df.head()     #前五条数据
df1                 #显示df1

在jupyter notebook中点击运行上述代码，即可显示df1的数据。

Series对象

Series是一维数据，而DataFrame是带标签的、大小可变的二维数据。

创建Series对象：

s= pd.Series(data,index = index)

参数说明：

• data：表示数据，可以是字典、多维数组、标量
• index：行标签（索引）
• 返回值：Series对象

例：

import pandas as pd
s1 = pd.Series([88,60,75])
print(s1)

结果：

图片.png

手动设置Series索引

import pandas as pd
s1 = pd.Series([88,60,75],index=[1,2,3])
s2 = pd.Series([88,60,75],index=['a','b','c'])
print(s1)
print(s2)

图片.png

Series索引

Series位置索引

位置索引默认是从0开始数，[0]是Series的第一个数

import pandas as pd
s1 = pd.Series([88,60,75])
print(s1[0])

结果为88

Series标签索引

Series标签索引与位置索引类似，index的数据类型是字符串，如果需要获取多个标签值索引，需要用[[]]来表示。

import pandas as pd
s2 = pd.Series([88,60,75],index=['a','b','c'])
print(s2['a'])
print(s2[['a','b']])

图片.png

Series切片索引

用标签索引做切片，包含索引开始的位置，也包含索引结束的位置。

用位置索引做切片，包含索引开始的位置，不包含索引结束的位置。

s2 = pd.Series([88,60,75],index=['a','b','c'])
print(s2['a':'c'])

图片.png

s2 = pd.Series([88,60,75],index=['a','b','c'])
print(s2[0:2])

图片.png

获取Series索引和值

获取Series索引和值主要使用Series的index和values方法。

s2 = pd.Series([88,60,75])
print(s2.index)
print(s2.values)

图片.png

DataFrame对象

DataFrame是一个二维表数据结构，由行、列数据组成的表格，既有行索引也有列索引。在DataFrame中，用index表示行或用columns表示列。

遍历DataFrame数据，输出每一列数据：

import pandas as pd
data = [[110,105,99],[105,88,115],[109,120,130]]
index = [0,1,2]
columns = ['a','b','c']
#创建DataFrame数据
df = pd.DataFrame(data = data,index=index,columns=columns)
print(df)
#遍历DataFrame数据的每一列
for col in df.columns:
    series = df[col]
    print(series)

图片.png

创建DataFrame对象

创建DataFrame对象主要使用pandas的DataFrame方法：

pandas.DataFrame(data,index,columns,dtype,copy)

参数说明：

• data：数据，可以是ndarray数组，Series对象、列表、字典等
• index：行索引
• columns：列索引
• dtype：每一列的数据类型
• copy:用于复制数据
• 返回值：DataFrame

表1 数据类型对应表

pandas dtype	python type
object	str
int64	int
float64	float
bool	bool
datetime64	datetime64[ns]
timedelta[ns]	NA
category	NA

使用二维数组创建DataFrame

import pandas as pd
#解决数据输出时列名不对齐的问题
pd.set_option('display.unicode.east_asian_width',True)
data = [[110,105,99],[105,88,115],[109,120,130]]
columns = ['语文','数学','英语']
df = pd.DataFrame(data = data,columns=columns)
df

图片.png

字典创建DataFrame

在使用字典创建DataFrame时，字典的value值只能是一维数组或单个的简单数据类型，如果是数组，要求所有数组长度一致，如果是单个数据，则每行都添加相同数据。

例：

import pandas as pd
#解决数据输出时列名不对齐的问题
pd.set_option('display.unicode.east_asian_width',True)
df = pd.DataFrame({
    '语文':[110,105,99],
    '数学':[105,88,115],
    '英语':[109,120,130],
    '班级':'高一7班'
},index = [0,1,2])
df

图片.png

DataFrame重要属性和函数

表2 重要属性

属性	描述	举例
values	查看所有元素的值	df.values
dtypes	查看所有元素的类型	df.dtypes
index	查看所有行名、重命名行名	df.index；df.index=[1,2,3]
columns	查看所有列名、重命名行名	df.columns；df.columns= ['a','b','c']
T	行列数据互换	df.T
head	查看前n条数据，默认5条	df.head();df.head(10)
tail	查看后n条数据，默认5条	df.tail()；df.tail(10)
shape	查看行数和列数，[0]表示行，[1]表示列	df.shape() df.shape[1]
info	查看索引，数据类型和内存信息	df.info
describe	查看每列的统计汇总信息，DataFrame类型	df.describe()
count	返回每一列中的非空值的个数	df.count()
sum	返回每一列的和，无法计算返回空值	df.sum()
max	返回每一列的最大值	df.max()
min	返回每一列的最小值	df.min()
argmax	返回最大值所在的自动索引的位置	df.argmax()
argmin
idxmax	返回最大值所在的自定义索引的位置	df.idxmax
idxmin
mean	返回每一列的平均值	df.mean()
median	返回每一列的中位数	df.median()
var	返回每一列的方差
std	返回每一列的标准差
isnull	检查df中的空值，空值为True，返回为布尔型数组
notnull	检查df中的空值，空值为False

导入外部数据

使用pandas的read_excel()方法导入.xls或.xlsx文件

语法如下：

pandas.read_excel(io,sheet_name=0,header=0,names=None,index_col=None,usecols=None,squeeze=False, dtype=None,engine=None,converters=None,true_values=None,false_values=None,skiprows=None,nrow=None, na_values=None,keep_default_na=True,verbose=False,parse_dates=False,date_parser=None,thousands=None, comment=None,skipfooter=0,conver_float=True,mangle_dupe_cols=True,**kwds)

参数说明：

• io：字符串，指文件路径
• sheet_name：None、字符串、整数、字符串列表或整数列表，默认值为0。字符串用于工作表名称，整数为索引表示工作表位置，字符串列表或整数列表用于请求多个工作表，为None时获取所有工作表。
• header：指定作为列名的行，默认为0，即第一行的值为列名若数据不包含列名，可以设置header = None
• names：默认值为None，要使用的列名列表
• index_col：指定列位索引列，默认是None，索引0是DataFrame的行标签
• usecols：int、list列表或字符串，默认值是None
• squeeze：布尔值，默认值是False，如果解析的数据只包含一列，则返回一个Series
• dtype：列的数据类型名称或字典，默认值是None
• skiprows：省略指定行数的数据，从第一行开始
• skipfooter：省略指定行数的数据，从尾部数的行开始

导入excel

import pandas as pd
df= pd.read_excel('路径文件名')
df1 = df.head()         #输出前五条数据

导入指定的sheet的页

import pandas as pd
df= pd.read_excel('路径文件名',sheet_name = '工作表名称')
df1 = df.head()         #输出前五条数据

通过行、列索引导入指定行、列数据

#指定行索引
import pandas as pd
df= pd.read_excel('路径文件名',index_col = 0)#指定第一列为行索引
df1 = df.head()         #输出前五条数据

#指定列索引
import pandas as pd
df= pd.read_excel('路径文件名',header = 1)#指定第一行为列索引
df1 = df.head()         #输出前五条数据
#指定列索引为数字
import pandas as pd
df= pd.read_excel('路径文件名',header = None)#列索引为数字
df1 = df.head()         #输出前五条数据

导入指定列数据

#导入第一列数据
import pandas as pd
df= pd.read_excel('路径文件名',usecols = [0])#导入第一列
df1 = df.head()         #输出前五条数据
#导入多列数据
import pandas as pd
df= pd.read_excel('路径文件名',usecols = [0,3])#导入第一列和第四列
df1 = df.head()         #输出前五条数据
#导入指定列名称
import pandas as pd
df= pd.read_excel('路径文件名',usecols = ['a','b'])#导入第一列和第四列
df1 = df.head()         #输出前五条数据

导入.csv文件

pd.read_csv(filepath_or_buffer: Union[ForwardRef('PathLike[str]'), str, IO[~T], io.RawIOBase, io.BufferedIOBase, io.TextIOBase, _io.TextIOWrapper, mmap.mmap], sep=