怎么使用pandas读取较大的CSV文件

参考：python 把几个DataFrame合并成一个DataFrame——merge,append,join,conca
怎么使用pandas读取较大的CSV文件

• 切割CSV文件

#分割较大的CSV文件
chuck_train = pd.read_csv("./train_set.csv", chunksize=50000)
for i, chuck in enumerate(chuck_train):
    chuck.to_csv('train_out{}.csv'.format(i)) # i is for chunk number of each iteration

• 分块读取CSV文件

df_train0 = pd.read_csv('./train_out0.csv')#读取训练集数据   #Read CSV (comma-separated) file into DataFrame
df_train1 = pd.read_csv('./train_out1.csv')#读取训练集数据
df_train2 = pd.read_csv('./train_out0.csv')#读取训练集数据

• 将分块的CSV文件，append到一块

#合并之前分割的数据
df_train = df_train0.append([df_train1,df_train2])

整体运行代码见以下链接：
https://blog.csdn.net/qq_25033587/article/details/82849649