About Encoding

C++中常用的三种字符编码：MBCS，Unicode，UTF8，新手一般会在这个问题上犯糊涂。
    MBCS是变长字节编码，具体的编码由操作系统确定，实际上是操作系统的内码。如在简体中文操作系统中，其编码是GB18030（GB2312的超集）；在繁体中文操作系统中，其编码是BIG5。对于GB18030，其英文字符编码与ASCII码值相同，用单字节编码，中文字符则用双字节编码，其值为字符对应的区位码值。
    Unicode是双字节编码。其英文字符编码也与ASCII码值相同。不同之处在于，即使英文字符也用双字节表示，其第一个字节值为0，第二个字节为对应的ASCII码值。对于汉字，与GB18030的不同之处在于，相同汉字的编码值不同，不是汉字的区位码值，而是Unicode编码值。
    UTF8也是变长字节编码。其英文字符编码也与ASCII码值相同，但只用一个字节编码；对于汉字等字符，则用三个字节编码。UTF-8编码的最大长度是4个字节。
    从以上的说明可以看出，存储一个相同的中英文混合的文本文件，MBCS和UTF8编码的文件要比Unicode编码的文件小，这是因为前两者对英文字符都使用单字节编码，更节省空间的缘故。实验中还发现，MBCS比UTF8文件的大小要稍小，这是因为UTF8保存汉字需要更多字节的缘故。
    在计算机对这三种文字编码的处理效率上，Unicode编码要比MBCS和UTF8编码的效率高。这是因为Unicode是定长编码，在处理过程中不需要判断下一个字符的开始位置，因而处理效率高。在C++中，如果开启Unicode编码，则程序中的所有字符就是Unicode编码。如果需要保存为UTF8编码，必须手工处理。

//************************************************************************************

 

第一 ANSI文件的文件头为空，不需要处理；

第二 UNICODE文件的文件头为0xFF,0xFE共计两个字节，读取时需要偏移两个字节再行读取；

第三 UTF-8文件的文件头为0xEF,0xBB,0xBF共计三个字节，读取时需要偏移三个字节后再行读取；

http://blog.csdn.net/lightlater/article/details/6326338  这个是win下面的处理方式。

//************************************************************************************

http://www.yuanma.org/data/2007/0202/article_2224.htm

这篇文章虽然是VB的说明，但是相当有启发性。

//************************************************************************************

http://baike.baidu.com/view/40801.htm

　　1991年前后，两个项目的参与者都认识到，世界不需要两个不兼容的字符集。于是，它们开始合并双方的工作成果，并为创立一个单一编码表而协同工作。从Unicode 2.0开始，Unicode采用了与ISO 10646-1相同的字库和字码；ISO也承诺，ISO 10646将不会替超出U+10FFFF的UCS-4编码赋值，以使得两者保持一致。两个项目仍都存在，并独立地公布各自的标准。但统一码联盟和ISO/IEC JTC1/SC2都同意保持两者标准的码表兼容，并紧密地共同调整任何未来的扩展。在发布的时候，Unicode一般都会采用有关字码最常见的字型，但ISO 10646一般都尽可能采用Century字型。　　UCS-4根据最高位为0的最高字节分成2^7=128个group。每个group再根据次高字节分为256个平面（plane）。每个平面根据第3个字节分为256行 （row），每行有256个码位（cell）。group 0的平面0被称作BMP（Basic Multilingual Plane）。将UCS-4的BMP去掉前面的两个零字节就得到了UCS-2。每个平面有2^16=65536个码位。Unicode计划使用了17个平面，一共有17*65536=1114112个码位。在Unicode 5.0.0版本中，已定义的码位只有238605个，分布在平面0、平面1、平面2、平面14、平面15、平面16。其中平面15和平面16上只是定义了两个各占65534个码位的专用区（Private Use Area），分别是0xF0000-0xFFFFD和0x100000-0x10FFFD。所谓专用区，就是保留给大家放自定义字符的区域，可以简写为PUA。

//上述文字意味着unicode最多实际上是4字节

　　UTF-8　　UTF-8以字节为单位对Unicode进行编码。从Unicode到UTF-8的编码方式如下：　　Unicode编码(16进制)　║　UTF-8 字节流(二进制)　　000000 - 00007F　║　0xxxxxxx　　000080 - 0007FF　║　110xxxxx 10xxxxxx　　000800 - 00FFFF　║　1110xxxx 10xxxxxx 10xxxxxx

　　010000 - 10FFFF　║　11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

//这里补充了4字节的utf8编码含义