python中解决中文乱码

解决中文乱码

  • 什么是字符编码
  • python 的字符编码
    • encode和decode
      • unicode还可以decode吗?
      • UTF-8还可以encode吗?
  • 解决中文编码问题
    • 问题1:使用requests获取网站内容后,出现中文乱码
    • 问题2:非法字符抛出异常
    • 问题3:网页可能使用了gzip压缩
    • 问题4:读取文件的中文乱码

什么是字符编码

总的来说,字符串的编码都只有两大类:

  1. 通用的Unicode编码。
  2. Unicode转化成的某种类型的编码。如UTF-8GBH等。

Unicode 被称为统一码、万国码或单一码。它为每种语言中的每个字符设定了统一的并且唯一的二进制编码。
为了节省空间,开发了一些中间格式的字符集。被称为通用转换格式UnicodeTransformation Format(UTF),常见的有 UTF−8 和 UTF−16。
随着互联网的普及,强烈要求出现一种统一的编码方式, UTF−8 就是在互联
网上使用最广的一种Unicode的实现方式。 UTF−8 最大的一个特点是长度可变,它可以使用1一4个字节表示一个符号,英文字母通常被编为1个字节,汉字通常。被编为3个字节,如表 所示。

字符 ASCII Unicode UTF-8
A 01000001 00000000 01000001 01000001
01001110 00101101 11100100 10111000 10101101

对于 UTF−8 编码,怎么知道什么时候是1个字节,什么时候是3个字节呢?
其实, UTF−8 的编码规则很简单,只有两条:

  1. (1)对于单字节的符号,字节的第1位设为0,后面7位为这个符号的
    Unicode码。因此对于英语字母。 UTF−8 编码和ASCII码是相同的。
  2. 对于n字节的符号 (n>1),第1个字节的前n位都设为1,第 n+1 位设为0,后面字节的前两位一律设为10,剩下的没有提及的二进制位全部为这个符号的Unicode码。例如,上述字符A为单字节符号,其 UTF−8 编码字节的第1位是0。而汉字“中”为3个字节符号,第1个字节的前3位都设为1,第1个字节的第4位为。

python 的字符编码

再python中字符的编码使用strbytes编码两种类型。

  1. str字符串:使用Unicode编码。
  2. bytes字符串:使用将Unicode转化成的某种类型的编码,如UTF-8

    python3默认字符型编码为Unicode,但python2则不是。

encode和decode

  • encode作用是将Unicode转化成的某种类型的编码。
  • decode作用是将其他编码的字符串转换成Unicode编码。
    python中解决中文乱码_第1张图片

unicode还可以decode吗?

脑洞大开呀,答案是不可以的,unicode不可以再被解码。

UTF-8还可以encode吗?

答案是不可以直接解码,可以节间。就是要先将UTF-8转成Unicode,再进行encode

解决中文编码问题

问题1:使用requests获取网站内容后,出现中文乱码

r = requests.get(url)
可以先用r.encoding查看其对应的编码格式,如果是gb2312
就加上r.encode ='gb2312'

问题2:非法字符抛出异常

当我们将某个字符串从GBK解码为Unicode时,可以用

str.decode('GBK')

如果报错可以是一个页面中有多中编码,于是出现了非法字符。
可以使用ignore忽略掉

str.decode('GBK','ignore')

问题3:网页可能使用了gzip压缩

解决方法是:使用r.content会自动解码gzipdeflate

r = requests.get(url)
after_gzip = r.content
print(after_gzip.decode('UTF-8')

问题4:读取文件的中文乱码

我们必须在读取文件的时候声明编码格式。如

result_utf8 = open('test_utf8.txt','r',encoding='UTF-8').read()
print(result_utf8)

同理保存的时候也一样

title = '我么'
with open('title.txt','a+',encoding ='UTF-8') as f:
	f.write(title)
	f.close()

python中解决中文乱码_第2张图片

你可能感兴趣的:(爬虫,python,问题(bug),python,爬虫,字符串,编码)