pandas读取csv报read csv out of memory

在使用pandas的read_csv方法读取很大的csv表格文件的时候，报内存错误。我们可以通过使用read_csv中的chunksize来控制读取表格中数据的条数

import pandas as pd

if __name__ == "__main__":
    #每次读取10条数据
    data_reader = pd.read_csv("G:/dataset/kaggle/house_price/train.csv",chunksize=10)
    for chunk in data_reader:
        #chunk为一个DataFrame
        print(chunk.shape)

每次读取指定条的数据，读取到的chunk是一个DataFrame，通过初始化一个DataFrame然后利用append方法将所有的chunk连接为一个DataFrame。

import pandas as pd

if __name__ == "__main__":
    #每次读取10条数据
    data_reader = pd.read_csv("G:/dataset/kaggle/house_price/train.csv",chunksize=10)
    #初始化一个DataFrame
    data = pd.DataFrame()
    for chunk in data_reader:
        #连接chunk
        data = data.append(chunk)
    print(data.shape)