数据加载、存储与文件格式
1.读写文本格式的数据
| 函数 | 说明 |
| read_csv | 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为逗号 |
| read_table | 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为（‘\t’） |
| read_fwf | 读取定宽列格式数据，即没有分隔符 |
| read_clipboard | 读取剪贴板中的数据。在将网页转换为表格时很有用 |
函数选项：
- 索引
- 类型推断和数据转换
- 日期解析
- 迭代
- 不规整数据问题
pd.read_csv('ch06/ex1.csv')
pd.read_table('ch06/ex1.csv',sep=',')
没标题的文件
pd.read_csv('ch06/ex2.csv',header=None)
pd.read_csv('ch06/ex2.csv',names=['a','b','c','d','message'])
把某一列作为索引
pd.read_csv('ch06/ex2.csv',names=['a','b','c','d','message'],index_col='message')
层次化索引
pd.read_csv('ch06/csv_mindex.csv',index_col=['key1','key2'])
使用正则表达式
pd.read_table('ch06/ex3.txt',sep='\s+')
跳过几行
pd.read_csv('ch06/ex4.csv',skiprows=[0,2,3])
缺失值处理
pd.read_csv('ch06/ex5.csv',na_values=sentinels)
(1)逐块读取文本文件
pd.read_csv('ch06/ex6.csv',nrows=5)
pd.read_csv('ch06/ex6.csv',chunksize=1000)
(2)将数据写出到文本格式
to_csv方法，将数据写到一个以逗号分隔的文件
data.to_csv('ch06/out.csv')
缺失值，使用别的标记值
data.to_csv(sys.stdout,na_rep='NULL')
禁止把行和列标签写入
data.to_csv(sys.stdout,index=False,header=False)
只写一部分列
data.to_csv(sys.stdout,index=False,cols=['a','b','c'])
from_csv
(3)手工处理分隔符格式
csv.reader
csv.writer
(4)JSON数据
json.loads(obj)
json.dumps(result)
(5)XML和HTML:Web信息收集
2.二进制数据格式
frame.save('ch06/frame_pickle')
pd.load('ch06/frame_pickle')
仅建议短期存储格式
(1)使用HDF5格式
(2)读取Microsoft Excel文件
pd.ExcelFile()
xls_file.parse()
3.使用HTML和Web API
requests包
4.使用数据库
嵌入式的SQLite数据库