IMX6ULL —— 字符编码方式和实现

前言:

使用的开发板为韦东山老师的 IMX6ULL

目录

字符的编码方式

编码与字体

1.ASCII

2.ANSI

3.UNICODE

UNICODE 编码实现

1.使用 3 个字节表示一个 UNICODE

2.UCS-2 Little endian/UTF-16 LE

3.UCS-2 Big endian/UTF-16 BE

4.UTF8


字符的编码方式

编码与字体

在计算机上,我们看到的字符“A”可能长这样:

也可能长这样:

对于同一个 TXT 文件中的内容,你在 Notepad 上选择不同字体时,字符显示的形状不一样。

所以 TXT 文件中保存的是字符的核心:它的编码值。而 Notepad 上显示时, 这些字符对应什么样的形状态,这是由字符文件决定的。编码值,字体是两个不一样的东西,比如 A 的编码值是 0x41,但是在屏幕上显示出来时可以使用不同的形状。

什么叫编码?

就是一个字符用什么数字来表示。在计算机里一切都是用数字 来表示,比如字符 A,用 0x01 还是 0x02 来表示它?我们使用 0x41 来表示它。 当你去打开一个 TXT 文件时,发现里面含有数值 0x41,你就知道了:哦,这里 有一个字符 A。

1.ASCII

是“American Standard Code for Information Interchange”的缩 写,美国信息交换标准代码。

电脑毕竟是西方人发明的,他们常用字母就 26 个,区分大小写、加上标点符号也没超过 127 个,每个字符用一个字节来表示就足够了。一个字节的 7 位就 可以表示 128 个数值,在 ASCII 码中最高位永远是 0。

字符和数值的对应关系百度百科-验证

部分如下:

IMX6ULL —— 字符编码方式和实现_第1张图片

2.ANSI

使用记事本保存文件时,可以选择“ANSI”编码,却没有“ASCII”,怎么回事?IMX6ULL —— 字符编码方式和实现_第2张图片

ASNI 是 ASCII 的扩展,向下包含 ASCII。

对于 ASCII 字符仍以一个字节来表示,对于非 ASCII 字符则使用 2 字节来表示。并没有固定的 ASNI 编码,它跟 “本地化”(locale)密切相关。比如在中国大陆地区,ANSI 的默认编码是 GB2312; 在港澳台地区默认编码是 BIG5。以数值“0xd0d6”为例,对于 GB2312 编码它表示“中”;对于 BIG5 编码它表示“笢”。所以对于 ANSI 编码的 TXT 文件,如果你打开它发现乱码,那么还得再次细分它的具体编码。

比如对于一个 TXT 文件,里面的数值如下:IMX6ULL —— 字符编码方式和实现_第3张图片

使用 Notepad 打开后,选择不同的编码(或称为字符集),有不一样的显示, 如下:

IMX6ULL —— 字符编码方式和实现_第4张图片

这仅仅是在中国地区就出现这些不兼容的问题。对于不同国家,它们默认的 ANSI 编码各不相同,所以同一个 TXT 文件在不同国家就很有可能出现乱码。 根本的原理在于没有“统一的编码”,那解决方法自然就是使用“统一的编 码”:UNICODE。

3.UNICODE

在 ANSI 标准中,很多种文字都有自己的编码标准,汉字简体字有 GB2312、 繁体字有 BIG5,这难免同一个数值对应不同字符。比如数值“0xd0d6”,对于 GB2312 编码它表示“中”;对于 BIG5 编码它表示“笢”。这造成了使用 ANSI 编 码保存的文件,不适合跨地区交流。

UNICODE 编码就是解决这类问题:对于地球上任意一个字符,都给它一个唯一的数值。 UNICODE 仍然向下兼容 ASCII,但是对于其他字符会有对应的数值,比如对 于“中”、“笢”,它们的数值分别是:0x4e2d、0x7b22

UNICODE 中的数值范围是 0x0000 至 0x10FFFF,有 1,114,111 即 100 多万个数值,可以表示 100 多万个字符,足够我们使用了。

UNICODE 编码实现

所谓编码实现,就是对于一个数值,怎么表示它。这很奇怪,数值还能怎么表示?

比如“中”的 UNICODE 值是 0x4e2d,在 TXT 文件中怎么表示 0x4e2d? 直接写入 0x4e2d?不行!

比如在 TXT 文件中写入 2 字节数据“0x2d 0x4e”,它可以用来表示“中” 字吗?不能!它们对应 ASCII 字符“-N”。

问题的关键在于:怎么断字。在 TXT 文件中,2 字节数据“0x2d 0x4e”是作为一个整体看待,还是拆成 2 部分看待?

所以,需要用一定的技巧来表示数值,这就对应不同的编码实现。

现在我们知道:

  • ASCII 编码中使用一个字节来表示一个字符,只用到其中的 7 位,最高位恒为 0;
  • ANSI 编码中,对于 ASCII 字符仍使用一个字节来表示(BIT7 是 0),对于非 ASCII 字符一般使用 2 个字节来表示,非 ASCII 字符的数值 BIT7 都是 1。

UNICODE:比较复杂

先用记事本新建 3 个文件:utf-16_le.txt、utf-16_be.txt、utf-8.txt、 bom_utf-8.txt,里面的内容都是“ab 中”,保存时编码分别选择“UTF-16 LE”、 “UTF-16 BE”、“UTF-8”、“带有 BOM 的 UTF-8”IMX6ULL —— 字符编码方式和实现_第5张图片

怎么表示一个 UNICODE 数值?

1.使用 3 个字节表示一个 UNICODE

不,太浪费。

UNICODE 的最大值是 0x10FFFF,那使用 3 个字节来表示一个 UNICODE 数 值?这当然是很省事的方法,但是会造成浪费,比如字符 A 的 UNICOCDE 值是 0x41,难道也用“0x41 0x00 0x00”这 3 个字节来表示?

2.UCS-2 Little endian/UTF-16 LE

每个 UNICODE 值用 3 字节来表示有点浪费,那只用 2 字节呢?它可以表示 2^16=65536 个字符,全世界常用的字符都可以表示了。

Little endian 表示小字节序,数值中权重低的字节放在前面,比如字符 “A 中”在 TXT 文件中的数值如下,其中的“A”使用“0x41 0x00”两字节表 示;“中”使用“0x2d 0x4e”两字节表示。文件开头的“0xff 0xfe”表示“UTF-16 LEIMX6ULL —— 字符编码方式和实现_第6张图片

3.UCS-2 Big endian/UTF-16 BE

Big endian 表示大字节序,数值中权重低的字节放在后面,比如字符“ab 中”在 TXT 文件中的数值如下,其中的“A”使用“0x00 0x41”两字节表示; “中”使用“0x4e 0x2d”两字节表示。文件开头的“0xfe 0xff”表示“UTF-16 BEIMX6ULL —— 字符编码方式和实现_第7张图片

4.UTF8

在上面 2 种方法中,每一个 UNICODE 使用 2 字节来表示,这有 3 个缺点: 表示的字符数量有限、对于 ASCII 字符有空间浪费、如果文件中有某个字节丢 失,这会使得后面所有字符都因为错位而无法显示。 使用 UTF8 可以解决上述所有问题。UTF8 是变长的编码方法,有 2 种 UTF8 格式的文件:带有头部、不带头部。先举例,看图IMX6ULL —— 字符编码方式和实现_第8张图片对于其中的 ASCII 字符,在 UTF8 文件中直接用其 ASCII 码来表示,比如上图中的 0x61 表示字符 a、0x62 表示字符 b。上图中的 3 个字节“0xe4 0xb8 0xad”表示的数值是 0x4e2d,对应“中”的 UNICODE 码。

对于非 ASCII 字符,使用变长的编码:每一个字节的高位都自带长度信息。IMX6ULL —— 字符编码方式和实现_第9张图片上图中,0xe4 的二进制是“11100100”,高位有 3 个 1,表示从当前字节起 有 3 字节参与表示 UNICODE;

0xb8 的二进制是“10111000”,高位有 1 个 1,表示从当前字节起有 1 字节 参与表示 UNICODE;

0xad 的二进制是“10101101”,高位有 1 个 1,表示从当前字节起有 1 字节 参与表示 UNICODE; 

除去高位的“1110”、“10”、“10”后,剩下的二进制数组合起来得到 “01001110001101”,它就是 0x4e2d,即“中”的 UNICODE 值。

使用 UTF8 编码时,即使 TXT 文件中丢失了某些数据,也只会影响到当前字符的显示,后面的字符不受影响。

你可能感兴趣的:(IMX6ULL,IMX6ULL)