Python中读取txt文本出现“ 'gbk' codec can't decode的解决方法

该问题的意思就是gbk解码器不能解码。
一般是因为用gbk解码器去解码utf-8的字符串,所以报错了。

这样我们可以:
1、指定文本的打开方式。

open('name.txt', encoding='gbk')

2、如果还没有解决问题的话,那么问题可能是还存在gbk解码不了的特殊字符,我们可以尝试用解码范围更广的gb18030.

open('name.txt', encoding='gb18030')

3、如果还没有解决,那么我们可以利用ignore忽视这些特殊字符。

open('name.txt', encoding='gb18030',errors = 'ignore')

1、文件使用方式open()函数的参数说明:

‘r’:默认值,表示从文件读取数据。
‘w’:表示要向文件写入数据,并截断以前的内容
‘a’:表示要向文件写入数据,添加到当前内容尾部
‘r+’:表示对文件进行可读写操作(删除以前的所有数据)
‘r+a’:表示对文件可进行读写操作(添加到当前文件尾部)
‘b’:表示要读写二进制数据

2、读文件 进行读文件操作时,直到读到文档结束符(EOF)才算读取到文件最后,Python会认为字节\x1A(26)转换成的字符为文档结束符(EOF),故使用’r’进行读取二进制文件时,可能会出现文档读取不全的现象。如果使用’rb’按照二进制位进行读取的,不会将读取的字节转换成字符,从而避免了这种的错误。使用’r’的时候,如果碰到’0x1A’,就视为文件结束,就是EOF。使用’rb’则不存在这个问题,即:如果你用二进制写入再用文件读出的话,如果其中存在’0x1A’,就只会读出文件的一部分,使用’rb’会一直读取文件末尾。

3、写文件 对于字符串x=‘abc\ndef’,我们可用len(x)得到它的长度为7,\n我们称之为换行符,实际上是0x0A。当我们用’w’即文本方式写的时候,在windows平台上会自动将’0x0A’变成两个字符’0x0D’,‘0x0A’,即文件长度实际上变成8。当用’r’文本方式读取时,又自动的转换成原来的换行符。 如果换成’wb’二进制方式来写的话,则会保持一个字符不变,读取的时候也是原样读取。 所以如果用文本方式写入,用二进制方式读取的话,就要考虑这多出的一个字节了。'0x0D’也称回车符。 Linux下不会变,因为linux只使用’0X0A’来表示换行。

参考原文链接

你可能感兴趣的:(结巴分词常遇问题)