ASCII,Unicode,UTF-8,Base64编码的类比

前言

众所周知,计算机只能识别0和1两种数字,所以说计算机的语言就是01,而我们人类则不同,不同国家的人,有不同语言.例如美国人用英语,中国人用汉语. 但是无论是哪个国家的人,在与计算机进行交流时, 就需要把自己的语言转化为对方能够理解的语言. 就好像埃塞俄比亚人和尼日利亚人在交流, 双方都不懂对方的语言, 那么就需要一个翻译的软件,例如谷歌翻译,把自己的话翻译成对方能够理解的语言,这样才能进行交流.人与人之间的语言沟通叫做翻译,而人与计算机之间的沟通就叫编码/解码.以下是几种常见的编码:

ASCII

因为计算机最早是由美国人所发明的,所以美国人便开发了一套能将自己的语言,也就是英语翻译成计算机能够识别的010101的编码, 这就是最早的编码----ASCII编码, 主要用来编码英语.因为计算机在最早设计时一个字节设置为8个比特位,一个比特位只能存储一个0或1,所以一个字节的最大数字为11111111, 对应10进制的256, 也就是说一个字节能够表示256种字符, 同时因为英语只有a-z,A-Z, 以及一些 ", ! ?"等标点符号, 并没有超过256种,因此用一个字节就可以全部表示完了.例如65来表示A,97来表示a, 256足以表示完英文中所有的字符. 因此ASCII编码最大的特点就是1个字节,只能编码/解码英语.

Unicode

但是发展到现在,全世界肯定不止美国一个国家在使用计算机,也不只有英语一种语言, 所以ASCII编码显然不能满足所有国家的需求.每个国家都需要将自己的语言翻译成计算机能够识别的语言,因此各个国家都开发了将自己母语翻译为计算机语言的编码,例如中国开发了gbk,用来翻译汉语, 日本用Shift JIS来翻译日语等等.....但是计算机不可能为每个国家都安装一套编码,这样的编码的维护成本会非常高,而且很难实时统一.所以急需一套编码,可以将世界上所有国家的语言都翻译成计算机语言,此时Unicode编码便孕育而生.ASCII用一个字节来表示英语所有的字符, 而Unicode想要表示世界上所有语言的字符, 一个字节是远远不够的, 所以Unicode编码便采用了两个字节,即16个比特位,最大值为2的16次方, 即65536. 所以Unicode可以表示65536个字符, 用来表示世界上所有语言的常用文字,顺便一提,汉字的常用文字有3500左右. 而在Unicode编码中,像英语那种用一个字节表示的话,就在前面补充0,保持2个字节的长度.此时,聪明的你肯定会想到,这样会存储肯定会造成内存的浪费,所以第三种编码UTF-8又孕育而生.

UTF-8

上述我们已经说到了用Unicode编码,来编码英文字母的时候,因为一个字节就足以表示了, 但是Unicode编码又是两个字节的,所以不足两个字节时就需要在前面补充0, 这样,当我们已Unicode编码保存资料到磁盘, 或者进行网络传输就会造成不必要空间的浪费. 所以UTF-8就是用来解决这个问题的而诞生的.UTF-8编码并不是固定字节的,对于英文等字符采用一个字节保存,对于中文不能用一个字节保存的, 就会将中文拆分为几个字节来保存, 这样就既能保证能够编码世界上所有的语言,又不会造成存储空间的浪费.UTF-8目前被广泛用于网络传输,以及数据存储, 例如网页上面html页面一般有表示当前html文本是采用UTF-8编码, 在数据库时, 大部分开发者也会选择UTF-8来作为数据库的编码格式.

Base64

以上三种都是属于文字的编码,但是在我们与计算机的交互过程中,有另外一种媒体也是出场率极高,那就是图片.同样,图片只是相对于人类的展示方式,计算机可不认识图片,计算机保存图片同样是以01的数字来保存.但是有些场景我们也希望计算机已字符串的方式来表示图片,但是上诉的3中编码只适用于文字,并不适合于图片,因为图片的二进制编码中包含有很多不可见字符,无法用文本展示. 所以用原来的一个字节或者两个字节来表示一个字符的方式已经不行了.所以便采用了新的方法, 首先准备一个包含64个字符的数组:[a,b,c...+,-,=...], 然后对原有二进制数据进行处理,每3个字节一组,一共是3x8=24bit,划为4组,每组正好6个bit, 这样我们得到4个数字作为索引,然后查表,获得相应的4个字符,就是编码后的字符串, Base64编码会把3字节的二进制数据编码为4字节的文本数据,长度增加33%,好处是编码后用6个字节表示一个Base64数组中的一个字符,可以避免无法展示显示的字符,在文本中直接引用, html文档中的部分小图片便可以采用这种方式将图片转为Base64编码,嵌入html文档中,以此来减少图片的http请求.

参考:
https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001431664106267f12e9bef7ee14cf6a8776a479bdec9b9000
https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001431954588961d6b6f51000ca4279a3415ce14ed9d709000

你可能感兴趣的:(ASCII,Unicode,UTF-8,Base64编码的类比)