pandas中read_csv和to_csv、read_hdf和to_hdf、read_json和to_json函数及其他各类文件的读取与存储

pandas I/O API 是一组访问的顶级读取器函数，如 pandas.read_csv（），通常返回一个 pandas 对象。相应的编写器函数是访问的对象方法，如 DataFrame.to_csv（）

一、read_csv和to_csv

• pandas.read_csv(filepath_or_buffer, sep =',', usecols )：读取文本文件(也就是平面文件)的主力函数
  • filepath_or_buffer:文件路径
  • sep :分隔符，默认用","隔开
  • usecols:指定读取的列名，列表形式
• DataFrame.to_csv(path_or_buf=None, sep=', ’, columns=None, header=True, index=True, mode='w', encoding=None)：该方法允许将对象的内容存储为逗号分隔值文件
  • path_or_buf：文件路径
  • sep：分隔符，默认用","隔开
  • columns：选择需要的列索引
  • header：布尔或字符串列表，默认为True，是否写进列索引值
  • index：是否写进行索引
  • mode:'w'：重写，'a' 追加

数据准备

读取文件

执行to_csv会将索引存入到文件当中，再次读取时发现变成了单独的一列数据

若要删除索引这一列，可以指定index参数为False，删除原来的文件，重新保存一次 

二、read_hdf与to_hdf

H5文件是以层级数据格式（HDF）第5版保存的数据文件，它包含科学数据的多维数组，HDF5文件的读取和存储需要指定一个键，值为要存储的DataFrame

• pandas.read_hdf(path_or_buf，key =None，** kwargs)：从h5文件当中读取数据
  • path_or_buffer：文件路径
  • key：读取的键
  • return：所选对象
• DataFrame.to_hdf(path_or_buf, key, **kwargs)：存储数据

HDF5在存储的时候支持压缩，使用的方式是blosc，这个是速度最快的，也是pandas默认支持的，使用压缩可以提磁盘利用率，节省空间，HDF5还是跨平台的，可以轻松迁移到hadoop上面，应优先选择使用HDF5文件存储

三、read_json与to_json

• pandas.read_json(path_or_buf=None, orient=None, typ='frame', lines=False)：将JSON格式转换成默认的Pandas DataFrame格式
  • orient : string，指定预期的 JSON 字符串格式。
    • 'split' : dict like {index -> [index], columns -> [columns], data -> [values]}，split 将索引总结到索引，列名到列名，数据到数据。将三部分都分开了
    • 'records' : list like [{column -> value}, ... , {column -> value}]，records 以columns：values的形式输出
    • 'index' : dict like {index -> {column -> value}}，index以index：{columns：values}...的形式输出
    • 'columns' : dict like {column -> {index -> value}}，默认该格式，colums 以columns:{index:values}的形式输出
    • 'values' : 只有值的数组，values 直接输出值
  • lines : boolean, 默认为False，按照每行读取json对象
  • typ：要恢复的对象类型（series or frame），默认为“frame”，指定转换成的对象类型series或者dataframe
• DataFrame.to_json(path_or_buf=None, orient=None, lines=False)：将Pandas 对象Series或DataFrame存储为json字符串格式
  • path_or_buf=None：文件地址
  • orient：存储的json形式，{‘split’,’records’,’index’,’columns’,’values’}
  • lines：一个对象存储为一行

四、其他

下表包含可用的读取器和写入器

格式类型	数据描述	读取器	编写器
text	CSV	read_csv	to_csv
text	Fixed-Width Text File	read_fwf
text	JSON	read_json	to_json
text	HTML	read_html	to_html
text	LaTeX		Styler.to_latex
text	XML	read_xml	to_xml
text	Local clipboard	read_clipboard	to_clipboard
binary	MS Excel	read_excel	to_excel
binary	OpenDocument	read_excel
binary	HDF5 Format	read_hdf	to_hdf
binary	Feather Format	read_feather	to_feather
binary	Parquet Format	read_parquet	to_parquet
binary	ORC Format	read_orc	to_orc
binary	Stata	read_stata	to_stata
binary	SAS	read_sas
binary	SPSS	read_spss
binary	Python Pickle Format	read_pickle	to_pickle
SQL	SQL	read_sql	to_sql
SQL	Google BigQuery	read_gbq	to_gbq

官网：https://pandas.pydata.org/pandas-docs/version/0.25/user_guide/io.html#io-read-csv-table

或：https://pandas.pydata.org/docs/user_guide/io.html

学习导航：http://xqnav.top/