一、位/比特位
位/比特位,数据存储的最小单位。每个二进制数字0或者1就是1个位。
二、字节(Byte)
字节(Byte)是一种计量单位,表示数据量多少,它是计算机信息技术用于计量存储容量的一种计量单位。
8个位构成一个字节。即:1 byte (字节)= 8 bit (位);
1 B = 1 byte(字节);
1 KB = 1024 B(字节);
1 MB = 1024 KB;(2^10 B)
1 GB = 1024 MB;(2^20 B)
1 TB = 1024 GB;(2^30 B)
三、字符
字符是指计算机中使用的文字和符号,比如1、2、3、A、B、C、~!·#¥%……—* () ——+、等等。
a、A、中、+、*、の......均表示一个字符;
一般 utf-8 编码下,一个汉字字符占用 3 个 字节;
一般 gbk 编码下,一个汉字字符占用 2 个 字节;
四、“字节”与“字符”
它们完全不是一个维度的概念,所以两者之间没有“区别”这个说法。不同编码里,字符和字节的对应关系不同:
①ASCII码中,一个英文字母(不分大小写)占一个字节的空间,一个中文汉字占两个字节的空间。一个二进制数字序列,在计算机中作为一个数字单元,一般为8位二进制数,换算为十进制。最小值0,最大值255。
②UTF-8编码中,一个英文字符等于一个字节,一个中文(含繁体)等于三个字节。
③Unicode编码中,一个英文等于两个字节,一个中文(含繁体)等于两个字节。
符号:英文标点占一个字节,中文标点占两个字节。举例:英文句号“.”占1个字节的大小,中文句号“。”占2个字节的大小。
④UTF-16编码中,一个英文字母字符或一个汉字字符存储都需要2个字节(Unicode扩展区的一些汉字存储需要4个字节)。
⑤UTF-32编码中,世界上任何字符的存储都需要4个字节。
五、字符集
即各种各个字符的集合。也就是说汉字,字母(A、b、c)和符号(空格、引号..)会被收入标准中。
六、编码
utf-8和Unicode实际上并不是同一个层次的概念。
规定每个“字符”分别用一个字节还是多个字节存储,用哪些字节来存储,这个规定就叫做“编码”。(其实际是对字符集中进行编码,即:每个字符用二进制在计算中表示存储);
通俗的说:编码就是按照规则将字符翻译成对应的二进制数,在计算器中运行存储,用户看的时候(比如浏览器),再用对应的编码解析成用户可看懂的。
1️⃣美国ASCII码
在计算机发明的时候,由于计算机只能表示二进制的数据,美国为了交流通信方便,约定了一个编码系统,就是ASCII码,把abc..xyz...ABC...XYZ...!@#...等字符分别和0,1,2,3,4......对应,发现差不多刚好128个数,半个字节的长度,为了防止以后需要为新的符号编码,于是干脆取一个字节,最高位置为0,后七位从0-127分别对每一个符号编码。于是,计算机每次读取一个字节,然后参照ASCII表把这些编码翻译成字符。
【标准ASCII字符集】
有96个打印字符,和32个控制字符组成。一共96+32=128个;
用7位二进制数来对每1个字符进行编码;而由于7位还还不够1个字节,而电脑的内部常用字节来用处理,每个字节中多出来的最高位用0替代;
0 000 0000.........................0
0 111 1111..........................127;
从0----127,来表示128个ACSii编码;
比如:
字符 'A'----------在计算器内部用0100 0001 (65)来表示;
字符'a'-----------在计算器内部用0 110 0001 (97)来表示;
注意:'10'在计算器内部是没有编码的,因为它是字符串,而不是单个字符。可以分别对1,0字符编码存储;
【扩展ASCii字符集】将标准的ASCii最高位1,得到十进制代码128---255(1 000 0000----1 111 1111);所以字符集一共有0---255, 256个字符;
【gb2312字符集】所有汉字字符在计算机内部采用2个字节来表示,每个字节的最高位规定为1【正好与标准ASCii字符(最高位是0)不重叠,并兼容】,不支持繁体字。所以,gb2312表示汉字的编码为:129--255 (两个字节,每个字节最高位是1);小于127的字符,与ASCii编码相同。
2️⃣欧洲ISO
后来欧洲人发现很多符号(法语,德语),ASCII没办法表示,于是他们约定了一套编码,一个字节的长度,把最高位也用掉了。这套编码叫ISO。和ASCII表类似,计算机也是每次只读一个字节,然后按照ISO表,解码出字符。
3️⃣中国GBK
中国汉字有几万个,常用的有几千个,没有两个字节无法表示。于是用了两个字节来表示中文,整出一套GBK。同时兼容了ASCII编码。gbk编码规定,计算机不能在每次都只读一个字节那么死板了,要先看看第一位是不是为0,要是为0的话,就当作ASCII码来读入一个字节,不然的话就读入两个字节。
【gbk字符集】gb2312的扩充,兼容gb2312,除了收录gb2312所有的字符外,还收录了其他不常见的汉字、繁体字等。gbk中字符是一个或两个字节,单字节字符00--7F(0---127)这个区间和ASCII是一样的;双字节字符的第一个字节是在81--FE(129--254)之间。通过这个可以判断是单字节还是双字节,即:在gbk字符编码,如果第一个字节是>128的,则再往后找一个字节,组成汉字;如果第一个字节<128,则表示的是一个单字节(此时和ASCII是一样的);
4️⃣unicode
如此,各方交流很不方便。这个时候,unicode编码就出现了。这套编码表的编号从0一直算到了100多万(三个字节)。每一个区间都对应着一种语言的编码。目前几乎收纳了全世界大部分的字符。所有的字符都有唯一的编号,这就解决了解码的冲突。但是,unicode没有为编码的二进制传输和二进制解码做出规定。
计算机每次读取三个字节,参照Unicode表解码不行吗?想法是好的,但是如果类似1号编码这样的小数据编号也要三个字节的话,即0x000001,这样很浪费。于是,就出现了uft-8,utf-16,utf-32这些编码方案。utf-16是用两个字节来编码所有的字符,utf-32则选择用4个字节来编码。下面只讲一下utf-8这种解决方案,因为它用的最多,用得最多是因为在当时它的方案最好,最节省资源。
【Unicode字符集】容纳世界上所有语言字符和符号的集合(以及对应的二进制数字)
Unicode只是一个编码规范,目前实际实现的unicode编码只有三种:UTF-8,UCS-2和UTF-16,三种unicode字符集之间可以按照规范进行转换。
utf-8编码:UTF-8(8-bit Unicode Transformation Format)是一种针对Unicode的可变长度字符编码,也是一种前缀码。它可以用来表示Unicode标准中的任何字符,且其编码中的第一个字节仍与ASCII兼容,这使得原来处理ASCII字符的软件无须或只须做少部分修改,即可继续使用。因此,它逐渐成为电子邮件、网页及其他存储或发送文字的应用中,优先采用的编码。
utf-8为了节省资源,采用变长编码,编码长度从1个字节到6个字节不等。 看起来,utf-16更加节省资源,节省空间。但实际上,当时互联网上绝大部分存在的资源都是英文的,英文在utf-16中也是2个字节,而在utf-8中则是1个字节。在当时,显然是utf-8更加节省资源。现在在中文世界里来比较,则是utf-16更加节省资源。