Pandas引入外部文件数据

一般而言，IO操作有如下几种：

1.读取文本文件和其他类型的磁盘存储格式
2.加载数据库中数据
3.利用web API操作网络资源

1. 读取文本文件

文本文件读取方法及参数解读

读取文本文件所用的函数一般有两个，read_csv() 和 read_table() ,

文本文件一般读取的是csv格式和txt格式，上面几个函数共有的重要功能，

（1）类型推断：不需要在读取的时候指明文件中每列的数据类型，在读取的时候pandas的函数会自动获取这些信息并赋予合适的类型。
（2）索引：在不指定的情况下，将各列的列名自动获取。也可以不获取文件中的列名，自定义列名。同时可以指定其中一列为索引列。

​#-*- coding:utf-8 -*-
import pandas as pd


res = pd.read_table('sale.txt', sep = '\t', 
					header = None, 
					usecol = [1,3,4], 
					names = ['goods','quantity','price'])

上方代码是 read_table() 方法的基本的使用，该方法中常用的参数如下：

参数	说明
filepath_or_buffer	这个是第一个参数，可以是字符串也可以是一个代表着文件路径的变量，是所要读取的文件的路径。
sep	是separate的缩写，在文本文件中不同列的数据通常情况下是用相同的字符间隔开的，常用的有逗号、制表符、空格等。该参数默认是制表符，如果是其他形式的间隔应在方法中设置该参数。
header	设置某行作为字段名，默认是索引值为0的行（第一行）。如果文件中没有列名，应设置该值为 None。
names	一个list，元素是DataFrame的列名，在文件中没有header列且明确指明参数 header = None时使用。list中的元素个数一定与DataFrame的列数相同。
index_col	是一个int、序列或者是False，默认值是None。这个参数的作用是选文件中的一列数据作为DataFrame的索引值。int是文件中列对应的索引；输入的序列是文件中该列的列名（这个比较常用）；Flase则是强制pandas不选用文件的第一列作为DataFrame的索引。
usecols	当不必要加载文件中所有列进入DataFrame时，可以指定加载的列。官方文档中说明 ‘a valid array-likeusecols parameter would be [0, 1, 2] or [‘foo’, ‘bar’, ‘baz’].’，即usecols的形式有两种，一种是数值类型的list，数值对应的是相应列在文件中的索引；另一种是字符串类型的list，其中的元素对应的是文件中对应列的列名。
nrows	int, default None，这个参数是需要读取的行数（从文件头开始算起）。
na_values	scalar, str, list-like, or dict, 默认是 None，这个参数设定的是一组被视为NA/NaN的值。
true_values	list, 默认是None。官方文档解释’Values to consider as True’，被认定为是’真‘的值。
false_values	list, 默认为None，与true_values相似，是一组被视为’假‘得值。
chunksize	这个参数指定分批读取文件，以后详细说明。

read_csv() 和 read_table()很相似，两个都常被用于读取文本文件，区别是二者sep参数的默认值不同。前者的sep默认为逗号；后者则是默认为制表符。

实例演示

1）规则文件处理

假设现在有一个逗号分隔的文本文件，

可以直接使用read_csv方法读取该文件，

也可以自定义列名，通过name参数，

同时可以指定某一列作为索引列，使用的是index_col参数，

这里只是将“message“列作为索引，设置多层索引也是可以的，只要将多个列的列名以列表的形式传递给index_col参数即可。

2）不规则文件处理

对于一些不规则的表格而言，比如说分隔符不是逗号、不是tab、空白符等有严格规律的符号分割时，可以传递一个正则表达式给sep参数，比如下放这种情况。文件中内容由不等的空格分隔，

传入一个正则表达式，比如这个例子中传入的是一个或多个space组成的分隔符，

如果文件中存在几行数据是不希望被读取到dataframe中的，可以使用skiprows参数，将这几行的行索引（从0开始）一列表的形式传递过来，

缺失值的处理使用的是 na_values参数，如果不指定，默认缺失值使用NaN表示。

2. 分块读取数据

当要处理的文件很大的时候，像上面那样直接将整个文件读入内存有时候是不可取的。对于大文件的处理，可能存在以下几种情况，

文件很大但是只需读取其中前几行内容

此时可以使用 nrows参数进行指定，

读取了csv文件的前五行。

文件很大且需要读取全部内容

此时可以逐块读取，只需设置chunksize参数，这个参数传入的值是每次所要读取的行数。

每个chunker是pandas的TextParser类对象，该对象能够对文件进行迭代，
每次迭代的产内容都可以视为一个DataFrame进行相应的操作，


TextParser对象还具有 get_chunk方法，可以取出任意大小的块，同时最好配合iterator参数，

3. 读取json数据

JSON（JavaScript Object Notation）是常用的结构化数据之一。比一般的文本格式灵活，基本的形式如下，

json的格式就像是整合了Python多种的基本类型，如dict、list、string、int、float、Boolean和null。Python的很多标准库都可以读写json数据，最常用的是Python的json库，通过json.loads方法即可将JSON字符串转换为Python的基本形式，

将JSON数据解析成Python的字典。相反的，json.dumps方法是将Python的字典打包成JSON格式。

将JSON数据解析后，转化为Series或者Dataframe是一个对字典对象进行转换的过程，

4. 读取Excel文件数据

方法及参数说明

pandas模块中，read_excel() 方法用于读取 .xls和 .xlsx文件，要求excel版本高于2003，需要 xlrd和xlwt两个模块的支持，

重要参数有，

参数	说明
io	io变量是所读取文件的路径，是必填参数。
sheetname	excel表格中存在着不同的sheet，读取时如果对sheet没要求则pandas默认读取索引为0的sheet。官方文档中的解释“string, int, mixed list of strings/ints, or None, default 0”，即 sheetname参数可以是整数、字符串、列表或者None。当为int时，指的是sheet的索引；string是相应的sheet的名称；list中元素可以是sheet的索引也可以是sheet的名称；当定义该变量为None时，是该excel表格中所有的sheet。
index_col	默认是None（就是没有作为索引的MySQL数据表的列），如果有要作为索引的列，则填入该列在数据表中的名称 。
columns	当不读取table中所有的列时，输入该参数，形式是list，元素是table中所要读取的列名。

其余参数可参考 read_csv和read_table方法。

使用演示

​#-*- coding:utf-8 -*-
import pandas as pd

df = pd.read_excel(io='***.xlsx',
				   sheetname=1,
				   header=0,
				   index_col= None,
				   names = None,
				   dtype=None )

read_excel方法可以与Python的xlrd接口进行配合使用，

5. 读取SQL文件

使用Pandas模块中提供的 read_sql方法和read_sql_table 方法，


其中的一个参数：
con : SQLAlchemy connectable (or database string URI)，是建立的与数据库之间的连接对象。

​#-*- coding:utf-8 -*-
import pandas as pd
import MySQLdb as mdb	# 如果是python3.x使用 sqlchemy模块

# 首先创建数据库连接
conn = mdb.connect(host = 'localhost',port=3306,user= 'root',passwd='*****',db = 'test')


df = pd.read_sql_table(table_name='table1',
					   con=conn,
					   index_col='col1',
					   columns=['col1','col2'...])

Python2中，conn可以使用 MySQLdb进行创建，但是在Python 3中，MySQLdb不再被支持，此时只能使用其他的如SQLAlchemy进行创建连接。

import pandas as pd
from sqlalchemy import create_engine


DATABASE = {
    'host': 'localhost',
    'user': 'username',
    'password': 'pwd',
    'db': "dbname",
}

engine = create_engine('mysql+pymysql://%(user)s:%(password)s@%(host)s/%(db)s?charset=utf8' % DATABASE,encoding='utf-8')