Pandas---读取数据比较大的文件

文件大,读取时结构有时会出现结构错误

先来正确的方式

说一下数据大小,这里我的数据大小有一百多兆,以前也用传统的方式读取过,没问题,在这次却有点小麻烦,好在换了个方式解决了,希望对你也有用,同时,如果经常读取比较大的文件时,也建议你这样做。

import pandas as pd

file_path = open('E:\数据\20190718_20190725.txt', 'r',  encoding='utf-8')
data = pd.read_table(file_path,header=None,sep=',')

data.drop([0], axis=1, inplace=True)        # 这里删除第一列是因为这一列是多出的索引
print(data.head())
save_path = r'E:\数据\CUST_20190718_20190725.txt'
data.to_csv(save_path, header=None, index=None)

你可能感兴趣的:(数据分析)