【北京理工大学-Python 数据分析-3.1Pandas库的基本使用】

Pandas库的引用，常用两大功能Series(一维）和DataFrame（二维和多维）

Pandas是Python第三方库，提供高性能易用数据类型的分析工具。

Pandas基于NumPy实现，常与NumPy和Matplotlib一起使用。
Numpy和Pandas的对比

Nupmy	Pandas
基础数据类型（主要是Ndarray数组类类型）	扩展数据类型（包括Series和DataFrame)
关注数据的结构表达	关注数据的应用表达（如何有效的清洗和运算）
维度：数据间的关系	数据与索引间的关系

import pandas as pd
d=pd.Series(range(20))
d.cumsum()

Series类型
Series类型由一组数据与之相关的数据索引组成
Pandas既可以自动生成索引也可以自主定义索引。

Series的自动索引

import pandas as pd
d=pd.Series([9,8,7,6])
d

Series的自定义索引

import pandas as pd
b=pd.Series([9,8,7,6],index=['a','b','c','d'])
b

Series类型的创建
Series类型可以由如下类型创建

• Python列表
• 标量值
• Python字典
• ndarray
• 其他函数

1.从标量值创建Series类型

import pandas as pd
S=pd.Series(25,index=['a','b','c'])
S

2.从字典创建Series类型
2.1直接使用字典

import pandas as pd
d=pd.Series({'a':9,'b':8,'c':7})
d

2.2字典和索引结合式

e=pd.Series({'a':9,'b':8,'c':7},index=['c','a','b','d'])
e

3.从ndarray类型创建

import pandas as pd
import numpy as np
n=pd.Series(np.arange(5))
n

import pandas as pd
import numpy as np
a=pd.Series(np.arange(5),index=np.arange(9,4,-1))
a

Series类型生成总结
Series类型可以由如下类型创建

• Python列表，index与列表元素个数一致。
• 标量值，index表达Series类型的尺寸。
• Python字典，键值对中的“键”是索引，index从字典中进行选择操作。
• ndarray()索引和数据都可以通过ndarray类型创建。
• 其他函数，range()函数等。

Series类型的基本操作

• Series类型包括index和values两部分。
• Series类型的操作类似ndarray类型。
• Series类型的操作类似Python字典类型。

Series类型的操作类似ndarray类型

• 索引方法相同，采用[]。
• NumPy中运算和操作可用于Series类型。
• 可以通过自定义索引的列表进行切片。
• 可以通过自动索引进行切片，如果存在自定义索引，则一同被切片。

import pandas as pd 
b=pd.Series([9,8,7,6],['a','b','c','d'])
b
b[3]##取索引为3的值
b[:3]##切片索引，得到的仍然是Series系列的数据
b[b>b.median()]##获取大于b中位数的系列

上述结果分别

Series类型的操作类似Python字典类型

• 通过自定义索引访问
• 保留字in操作
• 使用.get()方法

import pandas as pd
b=pd.Series([9,8,7,6],['a','b','c','d'])
b['b']##自定义索引
'c' in b##判断索引c是否在b的自定义索引里
0 in b##判断索引0是否存在b的索引里,注意这里只能判断自定义索引，对于默认索引不能判断
b.get('f',100)##为序列b添加元素

对应的结果

Series类型对其操作

import pandas as pd
a=pd.Series([1,2,3],['c','d','e'])
b=pd.Series([9,8,7,6],['a','b','c','d'])
a+b##对a和b中的数据索引对齐后在进行运算

Series类型的name属性
Series对象和索引都可以有一个名字，存储在属性.name中

import pandas as pd
b=pd.Series([9,8,7,6],['a','b','c','d'])
b.name='Series对象'
b.index.name='索引列'

Series类型的修改
Series对象可以随时修改并即刻生效

import pandas as pd
b=pd.Series([9,8,7,6],['a','b','c','d'])
b['a']=15
b.name='Series对象'
b.name='New Series'
b['b','c']=20
b

操作结果：修改之后原来的数据立马被修改

对Series类型的总结
Series是一维带‘标签’的数组
index_0 对应data_a
Series基本操作类似ndarray和字典，根据索引对齐。
Pandas库的DataFrame类型

• DataFrame类型由共用相同索引的一组列组成。
• DataFrame是一个表格型的数据类型，每列值类型可以不同。
• DataFrame既有行索引，也有列索引。
• DataFrame用于表达二维数据，但可以表达多维数据。
  
  DataFrame类型的创建
• 二维ndarray对象。
• 由一维ndarray\列表、字典、元组或Series构成的字典。
• Series类型。
• 由其他的DataFrame类型。
  1.从二维ndarray对象创建

import pandas as pd
import numpy as np
d=pd.DataFrame(np.arange(10).reshape(2,5))
d

2.从一维ndarray对象字典创建

import pandas as pd
dt={'one':pd.Series([1,2,3],index=['a','b','c']),'two':pd.Series([9,8,7,6],index=['a','b','c','d'])}
d=pd.DataFrame(dt)
d

3.从列表类型的字典创建

import pandas as pd
d1={'one':[1,2,3,4],'two':[9,8,7,6]}
d=pd.DataFrame(d1,index=['a','b','c','d'])
d

import pandas as pd 
d1={'城市':['北京','上海','广州','深圳','沈阳'],
'环比':[101.5,101.2,101.3,102.0,100.1],
'同比':[120.7,127.3,119.4,140.9,101.4],
'定基':[121.4,127.8,120.0,145.5,101.6]}
d=pd.DataFrame(d1,index=['c1','c2','c3','c4','c5'])
d

DataFrame类型
DataFrame是二维带”标签“的数组，其操作类似Series，依据行列索引。
数据类型操作
如何改变Series和DataFrame对象？
增加或重排：重新索引
删除：drop
重新索引
.reindex(）能够改变或重拍Series和DataFrame索引

import pandas as pd
d1={'城市':['北京','上海','广州','深圳','沈阳'],
'环比':[101.5,101.2,101.3,102.0,100.1],
'同比':[120.7,127.3,119.4,140.9,101.4],
'定基':[121.4,127.8,120.0,145.5,101.6]}
d=pd.DataFrame(d1,index=['c1','c2','c3','c4','c5'])
d=d.reindex(index=['c5','c4','c3','c2','c1'])
d

d=d.reindex(columns=['城市','同比','环比','定基'])
d

重新索引
.reindex(index=None,columns=None,…)的参数

参数	说明
index,columns	新的行列自定义索引
fill_value	重新索引中，用于填充确实位置的值
method	填充方法，ffill当前值向前填充，bfill向后填充
limit	最大填充量
copy	默认True,生成新的对象，False时，新旧相等不复制

关于columns重新索引

n=d.columns.insert(4,'新增')
n2=d.reindex(columns=n,fill_value=200)
n2

Pandas的索引类型

• Series和DataFrame的索引是Index类型
• Index对象是不可修改类型
  索引类型的常用方法

方法	说明
.append(idx)	连接另一个Index对象，产生新的Index对象
.diff(idx)	计算差集，产生新的Index对象
.intersection(idx)	计算交集
.union(idx)	计算并集
.delete(loc)	删除loc位置处的元素
.insert(loc,e)	在loc位置增加一个元素

例子

import pandas as pd
d1={'城市':['北京','上海','广州','深圳','沈阳'],
'环比':[101.5,101.2,101.3,102.0,100.1],
'同比':[120.7,127.3,119.4,140.9,101.4],
'定基':[121.4,127.8,120.0,145.5,101.6]}
d=pd.DataFrame(d1,index=['c1','c2','c3','c4','c5'])
d

nc=d.columns.delete(2)
nc

ni=d.index.insert(5,'c0')
ni

nd=d.reindex(index=ni,method='ffill')
nd

删除指定索引对象
.drop()能够删除Series和DataFrame指定行或列索引

a=pd.Series([9,8,7,6],indes=['a','b','c','d'])
a
a.drop(['b','c'])##不改变原来a的元素，若需要删除后的数据，需要新赋值

d.drop('c5')##删除第五行
d.drop('定基',axis=1）##删除列中的定基

Pandas算术运算法则

• 算术运算根据行列索引，补齐后运算，运算默认产生浮点数。
• 补齐时缺项填充NaN(空值）
• 二维和一维、一维和零位空间为广播运算。
• 采用±*/符号进行的二元运算产生新的对象。

import pandas as pd
import numpy as np
a=pd.DataFrame(np.arange(12).reshape(3,4))
a
b=pd.DataFrame(np.arange(20).reshape(4,5))
b

a+b
a*b

数据类型的算术运算/方法形式运算

方法	说明
.add(d,**argws)	类型间加法运算，可选参数
.sub(d,**argws)	类型间减法运算，可选参数
.mul(d,**argws)	类型间的乘法运算
.div(d,**argws)	类型间除法运算，可选参数

import pandas as pd
import numpy as np
a=pd.DataFrame(np.arange(12).reshape(3,4))
a
b=pd.DataFrame(np.arange(20).reshape(4,5))
b
b.add(a,fill_value=100)##表示b+a运算，然后a不足的部分，用100为基数进行运算，相加
a.mul(b,fill_value=0)##表示a*b，不足的部分用0计算

不同维度间为广播运算，一维Series默认在轴1参与运算。
比较运算法则

• 比较运算只能比较相同索引的元素，不进行补齐。
• 二维和一维、一维和零维间为广播运算。
• 采用>,<,>=,<=,==,！=等符号进行的二元运算产生布尔对象。

同纬度运算，尺寸一致，若不同维度，由于不能自动对齐，因此将会报错。
不同维度，广播运算，默认在1轴。
Pandas入门小结

• Series=索引+一维数据
• DataFrame=行列索引+二维数据
• 理解数据类型与索引的关系，操作索引即操作数据。
• Pandas数据的操作:重新索引、数据删除、算术运算、比较运算。
• 像对待单一数据一样对待Series和DataFrame对象。