位(bit)、字节(byte)、字符、编码

https://blog.csdn.net/ChineseSoftware/article/details/122533596

一、位/比特位
位/比特位，数据存储的最小单位。每个二进制数字0或者1就是1个位。

二、字节(Byte)
字节(Byte)是一种计量单位，表示数据量多少，它是计算机信息技术用于计量存储容量的一种计量单位。

8个位构成一个字节。即：1 byte (字节)= 8 bit (位)；
1 B = 1 byte(字节);
1 KB = 1024 B(字节);
1 MB = 1024 KB;(2^10 B)
1 GB = 1024 MB;(2^20 B)
1 TB = 1024 GB;(2^30 B)

三、字符
字符是指计算机中使用的文字和符号，比如1、2、3、A、B、C、~！·#￥%……—* () ——+、等等。

a、A、中、+、*、の…均表示一个字符；
一般 utf-8 编码下，一个汉字字符占用 3 个 字节；
一般 gbk 编码下，一个汉字字符占用 2 个 字节；

四、“字节”与“字符”
它们完全不是一个维度的概念，所以两者之间没有“区别”这个说法。不同编码里，字符和字节的对应关系不同：

①ASCII码中，一个英文字母(不分大小写)占一个字节的空间，一个中文汉字占两个字节的空间。一个二进制数字序列，在计算机中作为一个数字单元，一般为8位二进制数，换算为十进制。最小值0，最大值255。

②UTF-8编码中，一个英文字符等于一个字节，一个中文(含繁体)等于三个字节。

③Unicode编码中，一个英文等于两个字节，一个中文(含繁体)等于两个字节。
符号：英文标点占一个字节，中文标点占两个字节。举例：英文句号“.”占1个字节的大小，中文句号“。”占2个字节的大小。

④UTF-16编码中，一个英文字母字符或一个汉字字符存储都需要2个字节(Unicode扩展区的一些汉字存储需要4个字节)。

⑤UTF-32编码中，世界上任何字符的存储都需要4个字节。

五、字符集
即各种各个字符的集合。也就是说汉字，字母(A、b、c)和符号(空格、引号…)会被收入标准中。

六、编码
utf-8和Unicode实际上并不是同一个层次的概念。

规定每个“字符”分别用一个字节还是多个字节存储，用哪些字节来存储，这个规定就叫做“编码”。(其实际是对字符集中进行编码，即：每个字符用二进制在计算中表示存储)；
通俗的说：编码就是按照规则将字符翻译成对应的二进制数，在计算器中运行存储，用户看的时候(比如浏览器)，再用对应的编码解析成用户可看懂的。
1️⃣美国ASCII码
在计算机发明的时候，由于计算机只能表示二进制的数据，美国为了交流通信方便，约定了一个编码系统，就是ASCII码，把abc…xyz…ABC…XYZ…!@#…等字符分别和0,1,2,3,4…对应，发现差不多刚好128个数，半个字节的长度，为了防止以后需要为新的符号编码，于是干脆取一个字节，最高位置为0，后七位从0-127分别对每一个符号编码。于是，计算机每次读取一个字节，然后参照ASCII表把这些编码翻译成字符。
【标准ASCII字符集】
有96个打印字符，和32个控制字符组成。一共96+32=128个；
用7位二进制数来对每1个字符进行编码；而由于7位还还不够1个字节，而电脑的内部常用字节来用处理，每个字节中多出来的最高位用0替代；
0 000 0000…0
0 111 1111…127；
从0----127，来表示128个ACSii编码；

比如：
字符 ‘A’----------在计算器内部用0100 0001 (65)来表示；
字符’a’-----------在计算器内部用0 110 0001 (97)来表示；

注意：'10’在计算器内部是没有编码的，因为它是字符串，而不是单个字符。可以分别对1,0字符编码存储；

【扩展ASCii字符集】将标准的ASCii最高位1，得到十进制代码128—255（1 000 0000----1 111 1111）；所以字符集一共有0—255, 256个字符；

【gb2312字符集】所有汉字字符在计算机内部采用2个字节来表示，每个字节的最高位规定为1【正好与标准ASCii字符(最高位是0)不重叠，并兼容】，不支持繁体字。所以，gb2312表示汉字的编码为：129–255 (两个字节，每个字节最高位是1)；小于127的字符，与ASCii编码相同。

2️⃣欧洲ISO
后来欧洲人发现很多符号(法语，德语)，ASCII没办法表示，于是他们约定了一套编码，一个字节的长度，把最高位也用掉了。这套编码叫ISO。和ASCII表类似，计算机也是每次只读一个字节，然后按照ISO表，解码出字符。

3️⃣中国GBK
中国汉字有几万个，常用的有几千个，没有两个字节无法表示。于是用了两个字节来表示中文，整出一套GBK。同时兼容了ASCII编码。gbk编码规定，计算机不能在每次都只读一个字节那么死板了，要先看看第一位是不是为0，要是为0的话，就当作ASCII码来读入一个字节，不然的话就读入两个字节。

【gbk字符集】gb2312的扩充，兼容gb2312，除了收录gb2312所有的字符外，还收录了其他不常见的汉字、繁体字等。gbk中字符是一个或两个字节，单字节字符00–7F(0—127)这个区间和ASCII是一样的；双字节字符的第一个字节是在81–FE(129–254)之间。通过这个可以判断是单字节还是双字节，即：在gbk字符编码，如果第一个字节是>128的，则再往后找一个字节，组成汉字；如果第一个字节<128，则表示的是一个单字节(此时和ASCII是一样的)；

4️⃣unicode
如此，各方交流很不方便。这个时候，unicode编码就出现了。这套编码表的编号从0一直算到了100多万(三个字节)。每一个区间都对应着一种语言的编码。目前几乎收纳了全世界大部分的字符。所有的字符都有唯一的编号，这就解决了解码的冲突。但是，unicode没有为编码的二进制传输和二进制解码做出规定。

计算机每次读取三个字节，参照Unicode表解码不行吗？想法是好的，但是如果类似1号编码这样的小数据编号也要三个字节的话，即0x000001，这样很浪费。于是，就出现了uft-8，utf-16，utf-32这些编码方案。utf-16是用两个字节来编码所有的字符，utf-32则选择用4个字节来编码。下面只讲一下utf-8这种解决方案，因为它用的最多，用得最多是因为在当时它的方案最好，最节省资源。

【Unicode字符集】容纳世界上所有语言字符和符号的集合(以及对应的二进制数字)
Unicode只是一个编码规范，目前实际实现的unicode编码只有三种：UTF-8，UCS-2和UTF-16，三种unicode字符集之间可以按照规范进行转换。

utf-8编码：UTF-8(8-bit Unicode Transformation Format)是一种针对Unicode的可变长度字符编码，也是一种前缀码。它可以用来表示Unicode标准中的任何字符，且其编码中的第一个字节仍与ASCII兼容，这使得原来处理ASCII字符的软件无须或只须做少部分修改，即可继续使用。因此，它逐渐成为电子邮件、网页及其他存储或发送文字的应用中，优先采用的编码。

utf-8为了节省资源，采用变长编码，编码长度从1个字节到6个字节不等。

看起来，utf-16更加节省资源，节省空间。但实际上，当时互联网上绝大部分存在的资源都是英文的，英文在utf-16中也是2个字节，而在utf-8中则是1个字节。在当时，显然是utf-8更加节省资源。现在在中文世界里来比较，则是utf-16更加节省资源。