pandas数据分析库3~4

8.3算术运算和对齐

目的：通过学习算术运算和对齐来掌握nan缺失值处理、DataFrame与Series的运算与多个数据框之间的运算原则以及如何在pandas中使用通用函数。
一、nan缺失值处理
1）isnull()函数notnull()函数:判断每个值是否是nan值，返回布尔数组。

s = np.array([1,5,np.nan,np.nan,10])
s.isnull()        #判断是否是nan值，是nan值时返回Ture
s.notnull()       #判断是否是非nan值，是非nan值时返回Ture

举例isnull():

isnull.png

2)dropna()函数：返回删除nan值后的新数据框。
·dropna()使用时要注意的一些地方：

df.dropna()                               #含有nan值的行被删除
df.dropna(axis-1)                         #按axis=1纵向判断，含nan值的列被删除
df.dropna(how='all')                      #all表示某行的所有数据都为nan才删除
df.dropna(thresh=2)                       #某行的nan值>=2才删除

3)fillna()函数：将nan值用特定的值填充。
·fillna()函数使用的要点：

df.fillna(0)                              #缺失值都用0填充
df.fillna(method='ffill')                 #缺失值用其前面的非nan值填充
df.fillna(method='bfill')                 #缺失值用其后面的非nan值填充
df.fillna(value=df.mean)                  #用计算得到的平均值填充

二、对齐处理
简单阐述：
由于pandas支持标签访问数据，运算时会自动基于标签对齐进行运算。运算数据若是Series则只有行标签，若是DataFrame则会在行、列两个方向上将数据的标签对齐，对应的数据元素进行计算，标签不匹配的数据元素默认标记为NaN值。
·注意：
1、在默认情况下，DataFrame和Series之间进行算术运算会将Series的索引匹配到DataFrame的列，然后行一直向下广播：

frame = pd.DataFrame(np.arange(12).reshape((4,3)),columns=list('bde'),index=['Utah','Ohio','Texas','Oregon'])
series = frame.ix[0]
frame - series

对齐处理1.png

2、如果某个索引值在DataFrame的列或Series的索引中找不到，则参与运算的两个对象就会被重新索引形成并集：

series2 = pd.Series(range(3), index=['b','e','f'])
frame+series2

对齐处理2.png

三、通用函数
由于pandas时基于numpy构建的，所有numpy支持的通用函数都可以在pandas中用；而且在pandas对数据框的处理中，可以应用DataFrame的apply()来实现将自定义函数应用到各行各列上。
·简要说明：

f = lambda  x: x.max() - x.min()          #定义函数f，参数x将代表整行、整列
df.apply(f)                               #在每列上求最大值与最小值的差
df.apply(f,axis=1)                        #在每行上求最大值与最小值的差
df.apply(lambda  x:x-x.mean)              #计算每列数据与均值的差

此外，applymap()可以参考apply()的使用应用到每个数据上。

8.4读/写数据文件

目的：通过pandas作为数据接口读取CSV、HDF5、Excel等格式的文件；这里就只简单介绍读取CSv、HDF5文件。
一、读/写CSV文件
·CSV文件是以逗号分隔的文件文本，但是也有以空格分隔的文件文本；pandas提供read_csv()和to_csv()两个方法来读/写CSV文件。

读取CSV文件时要注意：
1、文件mobile.csv中含有中文，保存时Windows系统默认采用cp936，所以读取时也应该指定该编码字符集（encoding='cp936')，不然会出现乱码；读取时mobile.csv文件的第0行被自动解析成列名。
2、当文件中不含列名时，可以在读取时用names参数自行指定列名，例如：当文件不含列名时可以用header=None来表示文件不含列名，这样文件第0行就不会被错误解析韦列名。
3、读取空格分隔的数据，注意sep="\s+"
4、其他：

pd.read_csv("数据文件名",shiprows=[0,2])                  #跳过第0，2行
pd.read_csv("数据文件名",shiprows=4)                      #跳过前四行
pd.read_csv("数据文件名",shipfooter=2,engine='pthon')     #跳过尾部两行
pd.read_csv("数据文件名",nrows=10)                        # 只读取前10行

当文件中包含了日期，在读取时可以指定参数 parse_dates[' '],以便把该列解析为pandas的日期格式，并用index_col参数指定为索引。以一个stock.txt为例：

df = pd.read_csv('stock.txt',parse_dates=[' 交易日'],encoding='cp936',step='\s+',index_col=[' 交易日']）

存储：

df.to_csv("d1.csv",encoding='cp936')      #存盘，默认用逗号分隔
df.to_csv（"d2.csv",encoding='cp936',sep=' ')  #存盘时指定用空格分隔

二、读/写HDF5文件
HDF是一种存储和组织大量数据的文件格式，HDF文件存取的方式类似于字典操作，都通过键存取数据：

store = pd.HDFStore('store.h5')
store['a']=df1
store['c']=df2
df3=store[' a']
df4=store[' c']

补充：

·插值填充

插值填充.png

·CSV的特点：

• CSV(Comma-Separated Values)一般是以逗号为分隔符，其文件以纯文本形式存储表格数据（数字和文本），有时也称为字符分隔值，因为分隔字符也可以不是逗号。
• 通常用于在在电子表格软件和纯文本之间交互数据；
• 纯文本，使用某个字符集，比如ASCII、Unicode、EBCDIC或GB2312；
• 由记录组成（典型的是每行一条记录）；
• 每条记录被分隔符分隔为字段（典型分隔符有逗号、分号或制表符；有时分隔符可以包括可选的空格）；
• 每条记录都有同样的字段序列。
• 其他：
  • 每条记录占一行 以逗号为分隔符 逗号前后的空格会被忽略
  • 字段中包含有逗号，该字段必须用双引号括起来
  • 字段中包含有换行符，该字段必须用双引号括起来
  • 字段前后包含有空格，该字段必须用双引号括起来
  • 字段中的双引号用两个双引号表示
  • 字段中如果有双引号，该字段必须用双引号括起来
  • 第一条记录，可以是字段名
• csv.reader()函数与csv.writer()相反，用于返回一个可迭代对象，可以读取该对象，并且解析为CSV数据的每一行；
• csv.DictReader类和csv.DictWriter类，用于将CSV数据都进到字典中(首先检查是否使用给定字段名,如果没有,就使用第一行作为键)，接着将字典字段写入CSV文件中；

参考网站：

1、Python Tutor - Visualize Python, Java, C, C++, JavaScript, TypeScript, and Ruby code execution
2、(1条消息) Python基础语法09--读写csv文件_nikeylee的博客-CSDN博客