Python如何读取、拆分大文件

简述

最近和第三方数据接触较多，数据量也开始陡增，从一开始的1KW行，最大到了1亿行，这让我这个常年处理‘小数据’的人有点捉襟见肘。本来数据放在hive中也是可以操作的，但是有时候需求是做一些拆分、更改数据或者增加列等动作，要用Python去处理数据。但是Pandas直接把大文件读取到DataFrame里面也是非常卡的，甚至会出现内存不足的情况，所以在这里用到read_csv的chunksize参数。

一般使用read_csv的时候，chunksize是设定为None的，这个时候read_csv会把整个文件的数据读取到DataFrame中，这样就会很吃内存。而当chunksize被设置成数值的时候，read_csv就会迭代读取数据，而不会一次性读取。这样就会返回一个TextFileReader的迭代器，只要用for循环取出数据即可。

chunksize

如何读取大文件

我现在有一份文件名为bigdata.csv的文件，文件大小为1.7GB，数据行约为4000W行，根本不用去尝试用read_csv直接读取，这样会让自己很尴尬。我直接把chunksize设置为100W，基本上在眨眼之间就‘准备’好了数据，接着我把数据迭代出来即可。

如何操作大文件

增加一列

现在我想在城市之后加一列时间，只需要在每一个迭代出来的数据中加上即可。

拆分文件

读取数据后，我想把大文件拆分成多个小文件，方便上传和使用。

#-*- coding:utf-8 -*-
#author:chenpeng
#date: 2017-11-07
#作用：根据需要拆分的文件数，拆分文件
#备注：可以拆分csv格式文件和txt格式文件，返回的数据均是没有表头
import os
import pandas

def file_split(filename, file_num, header=True):
    #根据是否有表头执行不同程序，默认是否表头的
    if header:
        # 获得每个文件需要有的行数
        chunksize = 1000000   #先初始化的chunksize是100W
        data1 = pd.read_table(filename, chunksize = chunksize, sep=',', encoding='gbk') 
        num = 0
        for chunk in data1:
            num += len(chunk)
        chunksize = round(num / file_num + 1)

        # 需要存的file
        head, tail = os.path.splitext(filename)
        data2 = pd.read_table(filename, chunksize = chunksize, sep=',', encoding='gbk')
        i = 0 #定文件名
        for chunk in data2:
            chunk.to_csv('{0}_{1}{2}'.format(head, i, tail),header=None,index=False)
            print('保存第{0}个数据'.format(i))
            i += 1
    else:
        # 获得每个文件需要有的行数
        chunksize = 1000000   #先初始化的chunksize是100W
        data1 = pd.read_table(filename, chunksize = chunksize ,header=None, sep=',') 
        num = 0
        for chunk in data1:
            num += len(chunk)
        chunksize = round(num / file_num + 1)

        # 需要存的file
        head, tail = os.path.splitext(filename)
        data2 = pd.read_table(filename, chunksize = chunksize ,header=None, sep=',')
        i = 0 #定文件名
        for chunk in data2:
            chunk.to_csv('{0}_{1}{2}'.format(head, i, tail),header=None,index=False)
            print('保存第{0}个数据'.format(i))
            i += 1
    
if __name__ == '__main__':
    filename = 'D:\\bigdata.csv'
    file_split(filename, 5, header=False)

生成的数据

保存数据

最后，我更改了列，我想把更改完的数据又另外存为一个文件。mode设置为0是为了向文件增加内容，header=None是以免把表头增加进去