pandas 读csv文件,报错:ParserError:Error tokenizing data.

pandas 读csv文件,报错:

ParserError: Error tokenizing data. C error: Buffer overflow caught - possible malformed input file.

解决方法1:

如果使用python及其大文件,可以使用 engine=‘python’

解决方法2:

原因是pandas用作行终止符的数据中有一些回车符“\ r”,好像它是“\ n”,这可能是这个错误可能出现的常见原因。
解决方案是将 readterminator =’\ n’ 添加到read_csv函数中

注意:不能同时用

import pandas as pd
import time
#如果使用python及其大文件,可以使用 engine='python'如下。
start = time.time()
for i in range(10):
    rr1 = pd.read_csv('test.csv',
                     engine='python')
print(time.time()-start)

#原因是pandas用作行终止符的数据中有一些回车符“\ r”,好像它是“\ n”这可能是这个错误可能出现的常见原因。解决方案是将readterminator ='\ n'添加到read_csv函数中
start = time.time()
for i in range(10):
    rr2 = pd.read_csv('test.csv',
                     lineterminator='\n')
print(time.time()-start)

#测试结果:
'''
23.05613374710083
8.995743989944458
'''
#lineterminator='\n'  速度更快

推荐用:lineterminator=’\n’

你可能感兴趣的:(python,pandas)