python读取大数据csv文件—亿级数据量

原文件user_item_behavior_history.csv有2亿多条数据,如果是用本机内存读取的话,在配置有限的情况下用普通的方法读取肯定是行不通的,会内存报错,
使用get_chunk方法,当chunkSize=10000000时,读取速度最快。
原理:把dataframe分为多个chunk,一个chunk有10000000条数据,最后再拼接成chunks就OK了。

import pandas as pd
# 增加列名'user_id', 'item_id', 'behavior_type','timestamp'
reader = pd.read_csv('./data/user_item_behavior_history.csv', header=None, names = ['user_id', 'item_id', 'behavior_type','timestamp'], iterator=True)

# 使用get_chunk方法获取数据
loop = True
chunkSize = 10000000  # 设置chunksize
chunks = []

import datetime
# start time
starttime = datetime.datetime.now()

# long running
while loop:
    try:
        chunk = reader.get_chunk(chunkSize)
        chunks.append(chunk)
    except StopIteration:
        loop = False
        print("Iteration is stopped.")  # 迭代完成
# 拼接chunks        
df = pd.concat(chunks, ignore_index=True)

# end time
endtime = datetime.datetime.now()

# 共计数据获取时间
print('loop_time:', (endtime - starttime).seconds)

你可能感兴趣的:(python,python,数据分析)