利用python进行数据分析之数据加载存储与文件格式

　　在开始学习之前，我们需要安装pandas模块。由于我安装的python的版本是2.7，故我们在https://pypi.python.org/pypi/pandas/0.16.2/#downloads 此网站上下载的0.16.2版本，下载后解压缩利用dos命令打开对应的文件下，并运行 python setup.py install安装，可能会出现报错：error: Microsoft Visual C++ 9.0 is required (Unable to find vcvarsall.bat). Get it from http://aka.ms/vcpython27，此刻转到http://www.microsoft.com/en-us/download/confirmation.aspx?id=44266，会自动下载Microsoft Visual C++ Compiler for Python 2.7，下载后安装。然后再运行python setup.py install，就可以正常安装了，安装过程在30s左右即可完成。安装成功后可在idle窗口中

import pandas

查看是否引用成功，成功后就可以开始下一步学习。

　　输入输出数据通常分为几个大类，读取文本文件和其他更高效的磁盘存储格式，加载数据库中数据，也可以利用web的API操作网络数据资源。

一、读取文本格式数据

　　pandas提供一些将表格数据读取为dataframe对象的函数。

read_csv	从文件，url，文件型对象中加载带分隔符的数据，默认分隔符为逗号。
read_table	从文件，url，文件型对象中加载带分隔符的数据，默认分隔符为制表符（'\t'）。
read_fwf	读取定宽格式的数据，无分隔符
read_clipboard	读取剪贴板中数据

 

 

　　

　　

 

 

read_csv会为数据分配默认的列名，也可以指定数据的列名如:pd.read_csv('ch06/ex2/csv',names=['a','b','c','d','message'])

假设你希望将message列作为dataframe的索引，可以通过index_col参数指定message:

names=['a','b','c','d','message']

pd.read_csv('ch06/ex2/csv',names=names,index_col='message')

 

 将数据写出到文本格式

　　1、利用data_frame的to_csv方法，可以将数据写到一个以逗号分隔的文件中，也可用sep参数指定分隔符，如 data.to_csv()

　　2、缺失值写入输出时会被表示为空字符串，可使用na_rep表示为别的标记值。

手工处理分隔符格式

对于任何单字符分隔符文件，可以直接使用python内置的csv模块，将任意打开的文件或文件型的对象传给csv.reader:

import csv
f=open('ch06/ex7.csv')
reader=csv.reader(f)

对这个reader迭代将会为每行产生一个列表，为了使数据合乎需求，需要进行一些手工整理：

lines=list(csv.reader(open('ch06\ex7.csv')))
header,values=lines[0],lines[1:]
data_dict={h:v for h,v in zip(header,zip(*values))}

csv的文件的形式有很多，只需定义csv.dialect的一个子类即可定义出新格式：

class my_dialect(csv.Dialect):
    lineterminator='\n'
    delimiter=';'
    quotechar='"'
reader=csv.reader(f,dialect=my_dialect)

二、JSON数据

JSON数据已经成为通过http请求在wed浏览器和其他应用程序之间发送数据的标准格式之一，它是一种比表格型文本格式更灵活的数据格式。

JSON非常接近于有效的python代码，基本类型都有对象，数组，字符串，数值，布尔型以及null。通过json.loads即可将JSON字符串转换为python形式。

import json
result=json.loads(obj)

json.dump则将python对象转换为JSON格式

三、XML和HML：WEB信息收集

lxml可以高效可靠的解析大文件，lxml有多个编程接口，首先我们用lxml.html处理HTML，然后再用lxml.objectify做一些XML处理。

（待续）

四、二进制数据格式

实现二进制数据格式存储最简单的方法之一是使用python内置的pickle序列化，pandas对象都有一个用于将数据以pickle形式保存到磁盘上的save方法,然后可用pickle函数pandas.load将数据读回python：

frame=pd.read_csv('ch06/ec1.csv')
frame.save('ch06/frame_pickle')
frame.load('ch06/frame_pickle')

使用HDF5格式

HDF5中指的是层次型数据格式，每个HDF5文件都含有一个文件系统式的节点结构，它使你可以储存多个数据集并支持元数据。HDF5支持多种压缩器的即时压缩。

python中有两个接口处理HDF5，pytable和h5py。

读取excel文件

pandas的excelfile类支持读取存储excel中的表格型数据，由于excelfile用到了xlrd和openpyxl包，所以得先安装它们(https://pypi.python.org/pypi/xlrd)，通过传入一个xls或xslx文件的路径即可创建一个excelfile实例,存放在某个工作表中的数据可以通过parse读取到dataframe中。

xls_file=pd.ExcelFile('data.xls')
table=xls_file.parse('Sheet1')

 五、使用HTML和WEB API

许多网站都有一些通过JSON或其他格式提供数据的公用API，通过python访问这些API简单推荐的方法是requests包，如下：

网页信息读取后可进行更高级一步的处理。

import requests
url='http://www.baidu.com'
resp=requests.get(url)
resp
import json
data=json.loads(resp.text）

六、使用数据库

具体应用中，数据很少取自文本数据，更多来源与数据库（包括关系型数据库与非关系型数据库）