Python入门:unicode、ASCII、UTF-8、汉字等之间的关系

#ASCII
引用:【百度百科ascii】:ASCII(American Standard Code for Information Interchange,美国标准信息交换代码)是基于拉丁字母的一套电脑编码系统,主要用于显示现代英语和其他西欧语言。它是现今最通用的单字节编码系统,并等同于国际标准ISO/IEC 646。

ASCII 码使用指定的7 位或8 位二进制数组合来表示128 或256 种可能的字符。那么肯定会有一个问题,只有256种可能的字符,怎么能表示国际上这么多字符?中文、日文、韩文……怎么显示?所以就需要有一种统一的编码规定,定义每个字符的对应关系——unicode

#unicode
引用【百度百科unicode】Unicode的解释: Unicode(统一码、万国码、单一码)是计算机科学领域里的一项业界标准,包括字符集、编码方案等。Unicode 是为了解决传统的字符编码方案的局限而产生的,它为每种语言中的每个字符设定了统一并且唯一的二进制编码,以满足跨语言、跨平台进行文本转换、处理的要求。1990年开始研发,1994年正式公布。【为什么要将所有字符转换成二进制呢?因为计算机处理的所有数据只能用电压的高低状态来表示,也就是只能用0来表示低电压,用1来表示高电压,所以计算机想表示所有字符,就需要用一串01来表示所有字符。】

哇!unicode可以将所有字符都对应到相应的二进制(包括中文、英文、阿拉伯文、日语、韩语……),这样看似很好,那么会有一个问题,如果只有一种方式(最全的方式)的unicode来显示所有字符,那么得需要多大的表?如果我只需要中文和英文的,我是不是也要用最全的这个表?这里大家应该已经想到了,肯定是不可能的,所以就有了像我们经常听到的“UTF-8”、“GB2312”等等!

这里可以得出一个结论:unicode只是一个“规定”!!!
#UTF-8
“UTF-8”和“GB2312”等其它的编码方式一样,是遵照unicode的“规定”方式,用各自不同的编码排列方式将字符与二进制01进行对应的表,这里可以看个例子:

#utf-8
>>> a = "中国"
>>> a.encode('utf-8')
b'\xe4\xb8\xad\xe5\x9b\xbd'    #'b'代表引号里的字符是bytes类型的字符,'\x'是指用的是16进制

utf-8编码得到的二进制“\xe4\xb8\xad\xe5\x9b\xbd”转换成01是:11100100 10111000 10101101 11100101 10011011 10111101(需要把中间的空格删除,有空格是为了看关清楚)

#GB2312
>>> a = "中国"
>>> a.encode('GB2312')
b'\xd6\xd0\xb9\xfa'

GB2312编码得到的二进制“\xd6\xd0\xb9\xfa”转换成01是:11010110 11010000 10111001 11111010(需要把中间的空格删除,有空格是为了看关清楚)
#总结
1、出现乱码的时候就是因为编码不同导致的,因为同样表示为01的代码因为不同的编码(标记方式)不一样导致代表的字符不一样
2、汉字在不同的编码方式下对应的二进制(01)数不一样(在网上经常会看到有人问,汉字怎么转换成二进制01代码)

unicode for python3

a = "测试"
>>> a.encode("unicode_escape")
b'\\u6d4b\\u8bd5'

你可能感兴趣的:(python)