使用pandas的read_table方法读取本地文件时,爆出这个错误:
UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xce in position 52: invalid continuation byte
错误原因是‘utf-8’不能解码位置52的那个字节(0xce),也就是这个字节超出了utf-8的表示范围了,编码解码详细请参见https://segmentfault.com/a/1190000004625718
解决办法:
stopwords = pd.read_csv("stopwords.txt",index_col=False,quoting=3,sep=" ",names=['stopword'],encoding='ISO-8859-1')
也就是在读取数据的时候,显式添加编码方式encoding=’ISO-8859-1’。