Pandas 使用技巧（二）

处理丢失数据

由np.nan 填充丢失的数据

df.dropna(axis=0, how='any')

axis 根据行或者列丢弃，0 是行，1是列
how，指定丢弃行为
any，只要有一个nan就丢弃，，默认
all，所有的都为nan才丢弃

df.fillna(value=0), 为nan填上数据

value, 指定需要填入的数据

其他相关方法

df.isnull() 检查dataFrame中是否有缺失数据
np.any(df.isnull() = True) 针对超大表格，找到是否有nan

Panda导入导出

可以读取的格式

read_csv 这个常用
read_excel
read_hdf
read_pickle python自带压缩格式
read_json

可以导出的格式

to_csv
to_json

data = pd.read_csv("\*.csv")

read 进来以后会自动加上索引

data.to_csv("***.csv") 直接使用dataframe调用to_*** 来输出

合并多个DataFrame

df10 = pd.DataFrame(np.ones((3,4))*0, columns=['a', 'b', 'c', 'd'] )
df11 = pd.DataFrame(np.ones((3,4))*1, columns=['a', 'b', 'c', 'd'] )
df12 = pd.DataFrame(np.ones((3,4))*1, columns=['b', 'c', 'd', 'e'] )
res = pd.concat([df10 , df11], axis=0, ignore_index=Ture)

asix 为0是为上下合并（有相同的列），为1时为横向的合并（有相同的行）
ignore_index=True 对index重新安排, 为False的时候会保留之前的index
join, ['inner', 'outer'] 在contact的时候处理不一样的行或列数据
** res = pd.concat([df1, df2]), 默认会有广播机制并使用nan填充相当于['outer'], res = pd.concat([df1, df2], join='outer')
** 'inner', concat 之后就只包含相同的部分
join_axes, res = pd.concat([df10, df11, df12], axis=1, join_axes=[df10.index])
** 使用join_axes 指定的index进行合并，对于df11没有的index使用nan进行填充，对于df10中不存在的忽略掉
** 对于列的话需要使用 df10.columns
** 注意这里和join的区别
append，竖向或者横向的添加数据

res = df1.append(df2, ignore_index=True)
res = df1.appends(s1, ignore_index=True), 一行一行的添加

Merge多个DataFrame

res= pd.merge(df1, df2, on='key')
pd.merge(df1, df2, on=['key1', 'key2'])

可以指定合并的方法，
** inner，key的值必须一样的才和并
** outer, 不管值是不是一样都会合并，对于不一样的值填充NAN
** left，只靠一边的数据，另一边不一样的填充NAN
** right
indicator, 显示是如何merge的
index, 通过对比index来进行merge

res = pd.merge(df21, df22, left_index=True, right_index=True, how='outer')

left_index 考虑df21中的index
right_index 考虑df22中的index

合并过程中如何处理重复数据（index名称相同，但是内涵不同的数据）

使用参数suffixes，对于那些列名相同，但是又不在merge范围内的数据

res = pd.merge(df20, df21, on='d', suffixes=['_df20', '_df21'], how='inner')

Pandas Plot

其实还是使用matplotlib来画图的，但是可以集成到pandas的使用中去

data = pd.Series(np.random.randn(1000), index=np.arange(1000))
data.plot()
plt.show()

首先是data.plot()，然后在调用plt.show() 将图片显示出来，这种方法对于Series和DataFrame都适用

画其他类型的图：
plot method:“bar”, “hist”， “box”， “area”

data.plot.scatter(x='a', y='b')

将两组数据画在同一张图上：重点在于指定ax

ax = data.plot.scatter(x='a', y='b',color='blue', label='Class 1')
data.plot.scatter(x='c', y='d',color='red', label='Class 2', ax=ax)