文件编码的判定（UTF8,UTF16），及转换

1.首先根据BOM来判定

UTF-8的BOM： EF BB BF； 对应的十进制数值是：239 187 191 如果文件的开头三个字节与之相符则说明文件的编码是UTF8的

UTF-16LE的BOM： FF FE； 对应的十进制数值是： 255 254 如果文件的开头两个字节与之相符则说明对应的编码是UTF-16LE

UTF-16BE的BOM： FE FF ； 对应的十进制数值是：254 255 如果文件的开头两个字节与之相符则说明对应的编码是UTF-16BE

2.BOM不存在的情况判定

UTF-8的判定，根据内容判定

UTF-8的编码规则：

字符字节长度 标志字节 值

一字节长 0XXXXXXX

两字节长 110XXXXX 10XXXXXX

三字节长 1110XXXX 10XXXXXX 10XXXXXX

四字节长 11110XXX 10XXXXXX 10XXXXXX 10XXXXXX

**标志字节判定用到的数据**

定义数组btHead 长度为4保存用来判定标志字节的十进制数值： 0，192， 224， 240

定义数组btBitAndValue 长度为4保存用来得到标志字节长度的十进制数值：128： 224， 240， 248

**值判定用到的数据**

定义变量btValueHead用来保存值得标志所对应的十进制数值：128

定义变量btFixValueAnd 保存用来取得值的标志的十进制数值：192

a.以字节方式读取文件中内容保存到字节数组中

b.对a中读取的文件内容做loop操作。

首先对当前的字节分别与btBitAndValue中的四个值进行位与操作，每次得到的值与btHead中的值比较，找到相等的值时可以根据当前的 值来判定字符的字节长度L。并执行下一个循环，在跳过b的操作次数（L - 1）次时在执行b操作

c.取得值的标志。 将此致的值与btFixValueAnd进行位与操作，将取得的值与btValueHead进行比较，如果相等则对下一个字节继续执行c操作，直到执行的次数是L-1次。如果不相等则说明不是UTF-8编码格式。

UTF-16的判定与UTF-8的判定类似只要知道编码规则就可以。

3. 文字Code的转换操作

转换操作用到的API：

多字节转宽字节：MultiByteToWideChar

宽字节转多字节：WideCharToMultiByte

MSDN有详细参数说明。

具体步骤： 首先判定要保存转换结果字符串的长度，相应参数设定成固定的值便可以得到。

其次，根据得到的长度分配存储变量

最后，进行转换。

注意分配的内存释放问题。

本文来自CSDN博客，转载请标明出处：http://blog.csdn.net/yinzhiqing/archive/2009/11/18/4825789.aspx