写bug的日常——pandas导入csv文件的编码问题（UnicodeDecodeError:）

通常，在利用python做数据分析时，pandas库的

pd.read_csv('XXX.csv')

是个很好用的导入csv文件的工具。
但是，今天在导入一份csv文件时却出现了UnicodeDecodeError:'utf-8' codec can't decode byte 0xb7 in position 0: invalid start byte
根据之前的经验，一般需要加上encoding的格式，然而加上encoding='utf-8’后依然报错，错误同上。

data = pd.read_csv('XXX.csv',encoding='utf-8')

考虑到文件中有不少汉字，于是尝试改为gbk编码格式：

data = pd.read_csv('XXX.csv',encoding='gbk')

依然报错，错误如下：

UnicodeDecodeError: 'gbk' codec can't decode byte 0xaa in position 128912: illegal multibyte sequence

最后，将encoding改为’gb18030’即可正常读取。

data = pd.read_csv('XXX.csv',encoding='gb18030')

原因在于这份csv文件中有不少是汉字，所以在编码时可能会出现问题，常见的编码主要有：

1.ASCII码 与扩展的ASCII码。
2.Unicode编码：UTF-8就是Unicode字符的实现方式之一。
3.GBK/GB2312/GB18030：针对汉字的编码，如果csv文件中汉字较多，可能就需要这几中编码格式。如果不需要了解背后的原理的话，可以在实际使用中多尝试几次。

具体的编码原理与分类可以通过其他大佬的博客学习~

注意：如果导入使用了GB18030编码格式，那么在导出DataFrame到csv文件时，可能会出现乱码，可以指定导出的编码格式为 utf-8-sig，例如：

data.to_csv('test.csv', encoding = 'utf-8-sig', index = False)