utf-8编码规则

背景

最近将程序从x86_64 Qt5.12向arm Qt4.8环境上迁移时，遇到汉字乱码问题。很想弄清楚utf-8中汉字是如何编码的，后来看到UTF-8编码规则（转）,惊喜，所以记录一下。

utf-8编码规则

UTF-8是一种变长字节编码方式。对于某一个字符的UTF-8编码，如果只有一个字节则其最高二进制位为0；如果是多字节，其第一个字节从最高位开始，连续的二进制位值为1的个数决定了其编码的位数，其余各字节均以10开头。UTF-8最多可用到6个字节，其有效bit数为31。

如表：
1字节 0xxxxxxx
2字节 110xxxxx 10xxxxxx
3字节 1110xxxx 10xxxxxx 10xxxxxx
4字节 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
5字节 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
6字节 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

将UNICODE转换为UTF-8编码时应先去除高位0，然后根据所剩编码的位数决定所需最小的UTF-8编码位数。
因此，那些基本ASCII字符集中的字符（UNICODE兼容ASCII）只需要一个字节的UTF-8编码（7个二进制位）便可以表示。

汉字编码示例

开发环境Qt5.12.10,默认启用utf-8编码格式。测试utf-8编码向unicode转换示例。

#include 
using namespace std;
void testUtf8()
{
    char strTemp[100] = "1#皮带";
    QString qstrTemp(strTemp);
    qDebug()<<"dump strTemp";
    for (int i = 0; i < strlen(strTemp); i++){
        char ch = strTemp[i];
        qDebug("0x%x ", ch);
    }
    qDebug()<<"dump qstrTemp";
    for (int i = 0; i < qstrTemp.length(); i++){
        QChar qch = qstrTemp[i];
        qDebug("0x%x ", qch);
    }
    qDebug()<

打印信息如下：

dump strTemp
0x31 
0x23 
0xffffffe7 
0xffffff9a 
0xffffffae 
0xffffffe5 
0xffffffb8 
0xffffffa6 
dump qstrTemp
0x31 
0x23 
0x76ae 
0x5e26 
"1#皮带"

在调试模式下，可以看到0xffffffe7实际为0xe7,同样，0xffffff9a为0x9a。
所以，“皮带”的utf-8编码实际是 0xe7 0x9a 0xae 0xe5 0xb8 0xa6
转换为二进制为 11100111 10011010 10101110 11100101 10111000 10100110
所以前三个字节一组，后三个字节一组。
按照utf-8格式，unicode编码应为：二进制 0111 011010 101110 和 0101 111000 100110
按字节排列，二进制 01110110 10101110 && 01011110 00100110
按字节排列，十六进制 0x76 0xae && 0x5e 0x26

引用

UTF-8编码规则（转）