pandas学习日记

学习地址：http://codingpy.com/article/a-quick-intro-to-pandas/?hmsr=toutiao.io
数据源：以前爬取的上海租房信息，命名为test.csv

---

import pandas as pd

• df.read_csv('test.csv')
  错误提示：
  Error tokenizing data. C error: Expected 5 fields in line 5, saw 7
  参阅了stackoverflow.com上相似问题，大家提到了：
  1. Solution is to use pandas built-in delimiter "sniffing". input_data = pd.read_csv(fname, sep=None)
  2. For those landing here, I got this error when the file was actually an .xls file not a true .csv. Try resaving as a csv in a spreadsheet app.
     综上所述，我将csv另存了一个csv文件，打开就无错了。
• 一些操作命令：
  • 查看
    df.read_csv('xxx.csv') # 后面还有很多参数，参看pandas.read_csv参数详解
    df.head(5) #查看前5行
    df.tail(5) #查看末尾5行
    len(df) #返回行数
    df.describe() #数据集的基本统计数据
    
    
  • 过滤
    df.列名 和 df['列名'] 返回的结果一样
    df.列名<1000，df[df.列名<1000]布尔过滤,满足的返回True，否则返回False
    df[(df.列名2>2000)&(df.列名1<1000)]多条件过滤
    如果数据中是字符串，比如返回90年代的记录：
    df.[df.列名.str.startstring('199')]
  • 索引
    为了操作方便修改一下列名：
    df.columns = ['bianhao','danjia','mianji','xiaoqu','quyu','jingdu','weidu']
df.danjia[1] #十字交叉单元格处的值
    df.iloc[1] #iloc 只对数字型的标签有用。它会返回给定行的 series，行中的每一列都是返回 series 的一个元素
    
    
    
    和 iloc 一样，loc 会返回你引用的列，唯一一点不同就是此时你使用的是基于字符串的引用，而不是基于数字的。
    还有一个引用列的常用常用方法—— ix 。如果 loc 是基于标签的，而 iloc 是基于数字的，那 ix 是基于什么的？事实上，ix 是基于标签的查询方法，但它同时也支持数字型索引作为备选。
    df.set_index['biaohao'] #将编号列设为索引。当你将某一列设置为索引的时候，它就不再是数据的一部分了。如果你想将索引恢复为数据，调用 set_index 相反的方法 reset_index 即可:
    df.reset_index['bianhao']
df.sort_index(ascending=False).head(5) #前5行降序排列,默认ascending=True升序
  • 对数据集应用函数
    apply 的用法，即对一列数据应用函数。如果你想对整个数据集应用函数，就要使用 applymap
  • 操作数据集的结构
    重新建立数据结构，使得数据集呈现出一种更方便并且（或者）有用的形式。
    -groupby
    groupby 会按照你选择的列对数据集进行分组。不过仅仅这样做并没有什么用，我们必须对其调用函数，比如 max 、 min 、mean 等等。
    df.groupby(df.mianji //100*100).max()
    
    
    
    df.groupby([df.mianji //100*100,df.danjia //10000*10000])[['jingdu','weidu']].mean()
    注意后面的'jingdu'，'weidu'列不能为字符串列，否则报错。
    -unsrack
    它可以将一列数据设置为列标签,用法:df.unstack(i) #i为int，以第i列为标签转换
    -轴向旋转（pivoting）
    轴旋转其实就是我们之前已经看到的那些操作的一个集合。首先，它会设置一个新的索引（set_index()），然后对索引排序（sort_index()），最后调用 unstack 。以上的步骤合在一起就是 pivot.
    data.pivot('danjia','mianji')[['jingdu','weidu']].fillna('') #fillna空值以空字符填充
  • 合并数据集
    有时你有两个相关联的数据集，你想将它们放在一起比较或者合并它们。好的，没问题，在 Pandas 里很简单：
    rain_jpn = pd.read_csv('jpn_rain.csv') rain_jpn.columns = ['year', 'jpn_rainfall'] uk_jpn_rain = df.merge(rain_jpn, on='year') uk_jpn_rain.head(5)
    这样，你的'jpn_rain.csv文件里的jpn_rainfall列，就以year列合并到了df中，追加在列尾。

  • 快速画图

    
    
    
  • 保存数据集
    df.to_csv('xxx.csv')