UTF-8编码问题编码长度问题

UTF-8编码问题编码长度问题


UTF-8经常被用于文本文件和网络传输，因为不少这类场合还停留在ANSI时代，需要向纯ASCII兼容。UTF-8是UNICODE的一种变长字符编码 ，长度在1至6字节。这里注意一下，UTF-8曾经是6字节，现在是4字节， 两者都对。 但如果你看到介绍UTF-8的文章说是6字节，基本可以判断这是比较早的文章。在 内容只是ASCII的0X00~0X7F时，UTF-8与ASCII或各种ANSI编码（如GB，JISKSC，ISO-8859-1）的ASCII部分 完全兼容，也是用1字节的低7位表示。这就保证文本编辑器打开的UTF-8格式文档中，即使扩展字符无法显示，但ASCII部分肯定得以顺利解读。这点对 于还需要假定是各种ANSI编码的场合非常有用，比如HTML，前面的纯ASCII部分一直到META标记，然后可以确定随后的编码，而此时UTF-16 则不能正常工作。UTF-8采用如下所示的二进制方式来表示31位UCS-4，X表示有效位：
1字节 0XXXXXXX
2字节 110XXXXX 10XXXXXX
3字节 1110XXXX 10XXXXXX 10XXXXXX
4字节 11110XXX 10XXXXXX 10XXXXXX 10XXXXXX
5字节 111110XX 10XXXXXX 10XXXXXX 10XXXXXX 10XXXXXX
6字节 1111110X 10XXXXXX 10XXXXXX 10XXXXXX 10XXXXXX 10XXXXXX
从上可以看得出，如果处在第一字节的引导字节最高位为0，则是一字节。否则看前导1的个数，来确定是几个字节长。前导1与有效位之间有0相隔，也可以通过首字节的值范围来确定字节数。
1字节 0  ~127
2字节 192~223
3字节 224~239
4字节 240~247
5字节 248~251
6字节 252~253
随后的字节每个都以10为前导位，取值范围则在128~191之间。可以立即得知一个字节是否为后续字节，因为引导字节的引导位不是00、01就是11，不会是10。

截取8个字符：
字符串:stefan²º¹³
字节数:14
字符数:10
01110011
01110100
01100101
01100110
01100001
01101110
11000010
10110010
11000010
10111010
11000010
10111001
11000010
10110011

错误的：
字符串:stefan�0
字节数:10
字符数:8
01110011
01110100
01100101
01100110
01100001
01101110
11101111
10111111
10111101
00110000

正确的：
字符串:stefan²º
字节数:10
字符数:8
01110011
01110100
01100101
01100110
01100001
01101110
11000010
10110010
11000010
10111010


涉及到相关代码：

mb_internal_encoding("UTF-8");

$t = "stefan²º¹³";
$t = "绝望的奥特曼绝望的奥特曼";
//$t = "stefan�0";

//$t = mb_substr($t, 0, 8);
$t = my_substr($t, 2, 8);
echo "字符串:" . $t . "\n";
echo "字节数:" . strlen($t) . "\n";
echo "字符数:" . mb_strlen($t) . "\n";

$len = strlen($t);
for($i=0;$i<$len;$i++)
{
    $bin = decbin(ord($t[$i]));
    for($j=8;$j>strlen($bin);$j--)
    {
        echo '0';
    }
    echo $bin . "\n";
}

//自定义utf8截取函数
function my_substr($str, $start, $len)
{
    $cur_len = 0;
    $sub_len = 0;
    $new_str = '';
    $str_len = strlen($str);
    for($i=0;$i<$str_len;)
    {
        $dec = ord($str[$i]);
        $byte_len = 1;
        if($dec<=127)
        {
            $byte_len = 1;
        }
        else if($dec>=192 && $dec<=223)
        {
            $byte_len = 2;
        }
        else if($dec>=224 && $dec<=239)
        {
            $byte_len = 3;
        }
        else if($dec>=240 && $dec<=247)
        {
            $byte_len = 4;
        }
        else if($dec>=248 && $dec<=251)
        {
            $byte_len = 5;
        }
        else if($dec>=252 && $dec<=253)
        {
            $byte_len = 6;
        }
        else
        {
            // 异常
            $i++;
            continue;
        }

        for($j=$byte_len;$j>0;$j--)
        {
            if($cur_len>=$start)
            {
                $new_str .= $str[$i];
            }
            $i++;
        }

        if($cur_len>=$start)
        {
            $sub_len++;
        }
        $cur_len++;
        if($sub_len>=$len)
        {
            break;
        }
    }

    return $new_str;
}