数据分析-02

第二神器pandas库

1. Series

1.1 一种类似一维数组的对象

组成
index
values

1.2 `Series(data=None, index=None, dtype=None, name=None,copy=False,fastpath=False)`

Series(data=[1,2,3,4],index=list('ABCD'))
````Series({'A':1,'B':2,'C':3,'D':4})```

作用：创建Series数组
data指定values
index指定索引
name指定名字

1.3 索引和切片

显式索引
- 使用指定的索引 s['A']
- s.loc[]
  s.loc['A':'C']
  s.loc[['A','B']]
隐式索引
- 使用整数索引 s[0]
- s.iloc[]
  s.iloc[::2]

1.4 属性和方法

shape查看形状
size内容的个数
index查看索引
values查看内容
head()查看头几行数据
tail()查看末尾几行数据
unique()去重

1.5 空值

None会转化为NaN，计算时当成0
检测
isnull()
notnull()

1.6 Series运算

s + | * 4
加或乘
Series之间
运算中自动对齐不同索引的数据
不对应用NaN补位

1.7 多重索引

Series(data,index=[['期中','期中','期末','期末'],['语文','数学','语文','数学']])
Series([100,90,80,70,60,50],index=pd.MultiIndex.from_product([['期中','期末'],['语','数','外']]))

1.8 多层索引的索引与切片

索引
s1.loc['期中','语']
s1.loc['期中'].loc['语']
切片
s1.loc['期中':'期末']
s1.iloc[0:4]

2. DataFrame

2.1 一个表格型数据结构

组成
index（行索引）
columns（列索引）
values（numpy的二维数组）
属性
columns
values
index
shape

2.2 创建

DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)
data一个二维数组
index行索引--->列表
columns列索引--->列表

index=['张三','李四','王老五','zhaoliu','田七']
columns = ['python','java','c','math']
df = DataFrame(data=nd,index=index,columns=columns)

DataFrame(data={
'A':[1,2,3,4],
'B':[1,2,3,4],
 'C':[1,2,3,4],
})

pd.read_csv('./data/president_heights.csv')

2.3 查找

.query(查询条件) :df1.query('name=="lucy"&age>14')

2.4 索引

列索引
字典式索引: df['python']
属性索引: df.python
行索引
.loc[]: df.loc['zhaoliu']
.iloc[]:df.iloc[3]
元素索引
需求：获取行张三，列python数据

df.loc['张三','python']
df.python.iloc[0]
df.iloc[0,0]
df.python.loc['张三']
df.loc['张三'].loc['python']

.loc 里面用字符串索引 df.loc['行名','列名']
.iloc 里面用编号 df.iloc[行索引,列索引]

2.5 切片

行切片
df['刘总':'学委']
df[0:3]
列切片
.loc ---- 使用index :df.loc[:,'韭菜':'臭豆腐']
.iloc---- 使用索引: df.iloc[:,0:3]

2.6 运算

和数值
直接加乘，也可使用索引对具体内容进行运算
DataFrame之间
运算中自动对齐不同索引的数据
不对应用NaN补位
Python 操作符与pandas操作函数的对应表

Python 操作符与pandas操作函数的对应表
Series与DataFrame之间
使用Python操作符：以行为单位操作（参数必须是行），对所有行都有效。（类似于numpy中二维数组与一维数组的运算，但可能出现NaN）
df1 + s2
使用pandas操作函数：
axis=0：以列为单位操作（参数必须是列），对所有列都有效。
axis=1：以行为单位操作（参数必须是行），对所有行都有效。
df1.add(s2,axis='index')

2.7 处理丢失数据

None：python自带的数据类型，不参与计算
np.NaN：结果为nan
np.nansum(nd)
此函数将nan视为0，进行计算
空值操作
isnull()
是nan
配合any()使用效果更佳
notnull()
不是nan
dropna(): 删除有nan的行或列
参数：how='any|all'
fillna(): 填充
参数：method {'backfill', 'bfill', 'pad', 'ffill', None}
从后面找值来填充nan 从前面找值来填充nan
参数：value指定填充的值
参数：limit限制填充nan的个数
参数：inplace是否替换原来的数据
参数：axis指定轴线

2.8 拼接操作

级联
会出现重复的行索引

pd.concat(objs,     # obj指定拼接的对象
axis=0,             # axis指定拼接控制方向
join='outer',       # join指定拼接方式，outer外联方式，有的都要，inner保留相同的列
join_axes=None,     # join_axes指定连接轴
ignore_index=False, # ignore_index指定是否重新生成索引
keys=None, 
levels=None, 
names=None, 
verify_integrity=False, 
sort=None,           # sort指定对不上的列的填充
copy=True)

pd.append    df5.append(df6)

合并
pd.merge

pd.merge(left, right, 
how='inner', 
on=None, 
left_on=None, right_on=None, 
left_index=False, right_index=False, 
sort=False, suffixes=('_x', '_y'), 
copy=True, 
indicator=False, 
validate=None)

一对一
都有的进行拼接
多对一
两个表都有的项目作乘积
多对多
使用on参数指定特征进行合并

pd.join

2.9 多层索引

多层行索引
pd.MultiIndex
- .from_arrays
  indexes = pd.MultiIndex.from_arrays([['期中','期中','期中','期末','期末','期末'],['语','数','外','语','数','外']])
- .from_tuples
  indexes = pd.MultiIndex.from_tuples([('期中','语'),('期中','数'),('期中','外'),('期末','语'),('期末','数'),('期末','外')])
- .from_product
  indexes = pd.MultiIndex.from_product([['期中','期末'],['语','数','外']])
多层列索引
同多层行索引

2.10 多层索引的索引与切片

索引
df1['一班']
df1.loc['期中'].loc['语']
df1.loc['期中','语']
切片
df1.iloc[:,0:4]
df1.loc[:,'一班'].loc[:,'01':'02']
总结：要么用编号，要么用文字索引取的话就一级一级来吧（猥琐发育，别浪）

3. 读取外部表文件

read_csv :读取csv文件，也可读取网上的csv文件，传入url
read_table : 读取tsv文件
read_excel: 读取xlsx文件
html，json
read_sql（sql, con）: 读取数据库
sql指定数据库操作命令
con指定连接的数据库

4. 向外部输出

to_csv|table|json|html|excel...(path):
path指定输出路径及文件名
to_sql(table, con):
table指定输出的表名
con指定连接的数据库

5. 层次化索引

Series
DataFrame

6. 索引的堆（stack）

.stack()
参数：level指定把哪一层索引放下了
列索引脱衣服
unstack()
参数：level指定把哪一层索引放下了
行索引脱衣服

7. 数据处理

重复元素
df.duplicated(subset=None, keep='first')
keep指定第一个不参与重复判断 first | last | False
df.duplicated(keep=False)
df.drop_duplicates(subset=None, keep='first', inplace=False)
keep指定保留第一个不删除 first | last | False
df.drop_duplicates(keep=False)

8.映射

8.1 Series

替换元素
1. 单值
  - 普通
    s1.replace(to_replace='beijing',value='西安')
  - 字典
    s1.replace(to_replace={'beijing':'西安'})
2. 多值
  - 列表
    s1.replace(to_replace=[100,np.nan],value=['满分','缺考'])
  - 字典
    s1.replace(to_replace={100:'满分',np.nan:'缺考','beijing':'西安','没有的':'也不会报错'})

df.replace(to_replace=None, 
value=None, 
inplace=False, 
limit=None, 
regex=False, 
method='pad')

应用：可以用来做过滤器

8.2 DataFrame

替换元素
1. 单值
  - 普通
    df.replace(to_replace='Beijing',value='西安')
  - 指定列的单值替换
    df.replace(to_replace={4:'Beijing'},value='西安')
2. 多值
  - 列表
    df.replace(to_replace=['甲','乙',np.nan],value=[1,2,'空值'])
  - 字典
    df.replace(to_replace={'甲':1,'乙':2,np.nan:'空值','Beijing':'西安','不存在的也可以放这里':'不会报错'})

df.replace(to_replace=None, 
value=None, 
inplace=False, 
limit=None, 
regex=False, 
method='pad')