unicode/utf8/utf16/utf32笔记

unicode表示的字符范围是0x0000~0x10FFFF,最多只需要有21位,但是为了字节对齐,所以最多需要32位(4字节)
utf8/utf16/utf32都是表示unicode的一种编码方式。

utf8和utf16是变长编码,utf32不变长。utf-8编码长度为1,2,3或4字节,utf16编码长度为2或4字节,utf32编码长度恒4字节

utf8

单字节编码的情况:
字节最高位以0开头,剩下7位表示字符。字符范围0x00~0x7F (0-127)

双字节编码的情况:
首字节以110开头,第二个字节以10开头,剩下的11位表示字符。字符范围128~2047

三字节编码的情况:
首字节以1110开头,第二第三字节都以10开头,剩下16位表示字符。字符范围2048~65535

四字节编码的情况:
首字节以11110开头,第二第三第四字节都以10开头,剩下的21位表示字符。字符范围65536~2097151

utf16

最少2字节,所以无法兼容ASCILL

思路:unicode码在0-0xFFFF的可以直接用2字节表示够了。但是因为unicode范围是0-0x10FFFF,所以大于0xFFFF的部分再用2字节就不够了(共有0x100000个,需要用20位数字),这部分考虑用4字节,前2字节和后2字节各用10位

双字节编码的情况:
双字节表示的值就等于unicode字符码值,即表示字符0-0xFFFF(0-65535)

四字节编码情况:
高2字节:1101 10xx | xxxx xxxx,编码后值区间就是D800~DBFF
低2字节:1101 11xx | xxxx xxxx,编码后值区间就是DC00~DFFF
字符范围65536-2097151
eg: 四个字节 DB 00 DC 00 就表示unicode值=65536的字符

utf32

简单粗暴,直接用4个字节表示unicode码值。直接存储Unicode编号。无需经过字符编号向字符编码的转换步骤,提高效率,用空间换时间。

utf8对比utf16

unicode/utf8/utf16/utf32笔记_第1张图片

你可能感兴趣的:(笔记)