数据的导入
import pandas as pd
pd.read_csv(filename) # 导入csv格式文件中的数据
pd.read_table(filename) # 导入有分隔符的文本 (如TSV) 中的数据
pd.read_excel(filename) # 导入Excel格式文件中的数据
pd.read_sql(query, connection_object) # 导入SQL数据表/数据库中的数据
pd.read_json(json_string) # 导入JSON格式的字符，URL地址或者文件中的数据
pd.read_html(url) # 导入经过解析的URL地址中包含的数据框 (DataFrame) 数据
pd.read_clipboard() # 导入系统粘贴板里面的数据
pd.DataFrame(dict) # 导入Python字典 (dict) 里面的数据，其中key是数据框的表头，value是数据框的内容。
数据的导出
df.to_csv(filename) # 将数据框 (DataFrame)中的数据导入csv格式的文件中
df.to_excel(filename) # 将数据框 (DataFrame)中的数据导入Excel格式的文件中
df.to_sql(table_name,connection_object) # 将数据框 (DataFrame)中的数据导入SQL数据表/数据库中
df.to_json(filename) # 将数据框 (DataFrame)中的数据导入JSON格式的文件中
创建测试对象
pd.DataFrame(np.random.rand(10,5)) #创建一个5列10行的由随机浮点数组成的数据框 DataFrame
random_array=np.random.randint(low=0, high=10, size=(5, 5)) #创建一个值在0~10之间，5*5的二期数组
pd.DataFrame(random_array, columns=['a', 'b', 'c', 'd', 'e']) #加载数组并重命名列名
pd.Series(my_list) #从一个可迭代的对象 my_list 中创建一个数据组
数据的查看与检查
df = pd.DataFrame(np.random.rand(10,5))
df.head(3) #查看数据框的前3行
df.tail(n) #查看数据框的最后n行
df.shape #查看数据框的行数与列数
df.info() #查看数据框 (DataFrame) 的索引、数据类型及内存信息
df.describe() #对于数据类型为数值型的列，查询其描述性统计的内容
s = pd.Series([1,2,3,3,4,np.nan,5,5,5,6,7])
s.value_counts(dropna=False) #查询每个独特数据值出现次数统计
数据的索引
我们对 DataFrame 进行选择，大抵从这三个层次考虑：行列、区域、单元格。
其对应使用的方法如下：
- 行，列 --> df[]
- 区域 --> df.loc[], df.iloc[], df.ix[]
- 单元格 --> df.at[], df.iat[]
一 、df[]使用规则（一维操作）
- 行维度：整数切片、标签切片、<布尔数组>
df[:3]
df['a':'c']
df[[True,True,True,False,False,False]] # 前三行（布尔数组长度等于行数）
df[df['A']>0] # A列值大于0的行
df[(df['A']>0) | (df['B']>0)] # A列值大于0，或者B列大于0的行
df[(df['A']>0) & (df['C']>0)] # A列值大于0，并且C列大于0的行
- 列维度：标签索引、标签列表、Callable
df['A']
df[['A','B']]
df[lambda df: df.columns[0]] # Callable
二、df.loc[]使用规则（二维先行后列）
行维度：标签索引、标签切片、标签列表、<布尔数组>、Callable
df.loc['a', :]
df.loc['a':'d', :]
df.loc[['a','b','c'], :]
df.loc[[True,True,True,False,False,False], :] # 前三行（布尔数组长度等于行数）
df.loc[df['A']>0, :]
df.loc[df.loc[:,'A']>0, :]
df.loc[df.iloc[:,0]>0, :]
df.loc[lambda _df: _df.A > 0, :]
列维度：标签索引、标签切片、标签列表、<布尔数组>、Callable
df.loc[:, 'A']
df.loc[:, 'A':'C']
df.loc[:, ['A','B','C']]
df.loc[:, [True,True,True,False]] # 前三列（布尔数组长度等于行数）
df.loc[:, df.loc['a']>0] # a行大于0的列
df.loc[:, df.iloc[0]>0] # 0行大于0的列
df.loc[:, lambda _df: ['A', 'B']]
df.iloc[]使用规则（二维先行后列）
行维度：整数索引、整数切片、整数列表、<布尔数组>
df.iloc[3, :]
df.iloc[:3, :]
df.iloc[[0,2,4], :]
df.iloc[[True,True,True,False,False,False], :] # 前三行（布尔数组长度等于行数）
df.iloc[df['A']>0, :] #× 为什么不行呢？想不通！
df.iloc[df.loc[:,'A']>0, :] #×
df.iloc[df.iloc[:,0]>0, :] #×
df.iloc[lambda _df: [0, 1], :]
列维度：整数索引、整数切片、整数列表、<布尔数组>、Callable
df.iloc[:, 1]
df.iloc[:, 0:3]
df.iloc[:, [0,1,2]]
df.iloc[:, [True,True,True,False]] # 前三列（布尔数组长度等于行数）
df.iloc[:, df.loc['a']>0] #×
df.iloc[:, df.iloc[0]>0] #×
df.iloc[:, lambda _df: [0, 1]]
数据的清洗
df.columns = ['a','b'] # 重命名数据框的列名称
df.index = ['a','b'] # 重命名数据框的行索引名称
pd.isnull(df) # 检查数据中空值出现的情况，并返回一个由布尔值(True,Fale)组成的列
pd.notnull(df) # 检查数据中非空值出现的情况，并返回一个由布尔值(True,False)组成的列
df.dropna() # 移除数据框 DataFrame 中包含空值的行
df.dropna(axis=1) # 移除数据框 DataFrame 中包含空值的列
df.fillna(x) # 将数据框 DataFrame 中的所有空值替换为 x
s.astype(float) # 将数组(Series)的格式转化为浮点数
s.replace(1,'one') # 将数组(Series)中的所有1替换为'one'
s.replace([1,3],['one','three']) # 将数组(Series)中所有的1替换为'one', 所有的3替换为'three'
df.rename(columns={"a":"A"}) # 将全体列重命名
df.rename(index = lambda x: x+ 1) # 改变全体索引
数据处理
主要牵涉到的方法有：
查询(filter)、排序(sort)、分组(groupby)
1. 查询
df[df[col] > 0.5] # 选取数据框df中对应行的数值大于0.5的全部列
df[(df[col] > 0.5) & (df[col] < 0.7)] # 选取数据框df中对应行的数值大于0.5，并且小于0.7的全部列
2. 排序
df.sort_values(col1) # 按照数据框的列col1升序(ascending)的方式对数据框df做排序
df.sort_values(col2,ascending=False) #按照数据框的列col2降序(descending)的方式对数据框df做排序
df.sort_values([col1,col2],ascending=[True,False]) # 按照数据框的列col1升序，col2降序的方式对数据框df做排序
3. 分组
df.groupby(col) # 按照某列对数据框df做分组
df.groupby(col1)[col2].mean() # 按照列col1对数据框df做分组处理后，返回对应的col2的平均值
数据的连接与组合
df1.append(df2) # 在数据框df2的末尾添加数据框df1，其中df1和df2的列数应该相等
pd.concat([df1, df2],axis=1) # 在数据框df1的列最后添加数据框df2,其中df1和df2的行数应该相等
df1.join(df2,on=col1,how='inner') # 对数据框df1和df2做内连接，其中连接的列为col1