python2.7应用codecs模块处理包含中文的读写问题

codecs模块处理中文读写

我们在应用python编码过程中,经常会涉及对文件的读写,推荐的文件读写方式如下:

#!/usr/bin/env Python
# coding=utf-8
...
with open(file=源文件,mode='命令') as 命名:
...

当源文件中包含中文时,如何没有经过编解码处理,经常会遇到UnicodeDecodeError类型的错误,例如:

UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 1022-1023:

在python 3 中,open API支持指定编码方式,当源文件是utf-8格式时,其解决方法如下,

with open(file=源文件,mode='命令',encoding='utf-8') as 命名:

但在python 2.x中,open API不支持指定编码方式,当源文件是utf-8格式,并涉及中文时,我们可以采用codecs模块进行处理,解决方法如下:

import codecs
# encoding设置为'utf-8'格式,即可解决
# codecs.open接口和open接口兼容,非常方便
with codecs.open(file=源文件,mode='命令',encoding='编(解)码方式') as 命名:
    ....

检测文件编码格式

当我们不知道当前文件的编码格式,我们可以采用以下方法进行验证

import chardet

# 文件
with codecs.open(file_,mode='rb') as fil :
    data_ = fil.read()
    print(chardet.detect(data_))

# 输出是字典
{'encoding':文件编码,'confidence':可信度(真假猴王),'language':语言}

你可能感兴趣的:(python那些事)