VC 之 cout 与 wcout 区别及 wchar_t、CharSet、CodePage 等相关概念解析

文 / 李博(光宇广贞)

VC 之 cout 与 wcout 区别及 wchar_t、CharSet、CodePage 等相关概念解析_第1张图片

图一

       实验平台信息见:《测试 VS 2010 对 C++ 0x 标准的谨慎支持》。

       先说两组概念:字符集(CharSet)与编码方案(Encoding Scheme)源代码文件编码(Source file CharSet)与程序文件编码(Exec file CharSet)

       第一组,字符集与编码方案:

       字符集就是字符的数字代码集。有 ANSI/ASCII、MBCS(Multibytes)、Unicode 等。比如“汉”字 Unicode 代码为 0x6c49。

       编码方案就是记录字符代码的方式。有 UTF-8、UTF-16、GB2312 等。编码方案分“变长编码”与“定长编码”两种。UTF-8 是变长编码,模板如下:

       0x0000 – 0x007F 表一字节 0xxxxxxx
       0x0080 – 0x07FF 表两字节 110xxxxx 10xxxxxx
       0x0800 – 0xFFFF 表三字节 1110xxxx 10xxxxxx 10xxxxxx

       比如 UTF-8 编码序列 11100110 10110001 10001001,由首字节判断为三字节模板,解析时连续读取三字节并将编码模板去除,剩 0110 110001 001001,连在一起即为 01101100B 01001001B,也即 0x6c49,即“汉”字。

       字符集与编码方案概念分明,却互依互存。字符集与编码方案是配套的。比如提到 GB2312 编码,即是指 GB2312 字符集与 GB2312 编码方案。此处 GB2312 为两字节定长编码。而提到 Unicode 编码,即指 Unicode 字符集与 UTF-X 编码方案。其中 UTF-16 为两字节定长编码,UTF-8 设计为变长是为了工业应用中兼容已有的 ANSI/ASCII 编码,并广泛应用于互联网业务。

       双字节定长编码为了与单字节编码区分,注意到单字节编码最高位为 0,故设定首字节最高位为 1,指示解析器需要连续读取两字节。

       第二组,源码编码与程序编码:

       源码文件与生成的程序文件编码是两回事儿。源码文件编码是文本文件保存时指定的编码;而程序文件编码依赖系统环境设置。

       第二组问题的焦点在于“常量字串”的处理上。常量字串在代码中是用源码文件编码记录的;而编译时将如何处理呢?这就讨论到了 cout 与 wcout 之不同。

       cout 与 wcout 有何不同?图一可见前两行正确显示,后两行显示异常。显示异常当然是因为常量字串处理出了问题。

       再说两组概念:Multibytes 与 UniocdeWin OS 之 wchar_t 与 ANSI/ISO C/CPP 之 wchar_t

       第一组、Multibytes 与 Uniocde:

       VC 下,或者说 Win32 中,二者之别等价于变长与定长编码之分,或者说是采用非 UTF-16 还是 UTF-16 之分。自 Win2k 以降,基于 WinNT 内核的 Win OS 已全面更新为 UTF-16 编码。此处 Unicode 仅指 Unicode 字符集配 UTF-16 编码。其余,包括 UTF-8、UTF-7、GB2312、ANSI/ASCII 等一律划归 Multibytes。故而 Multibytes 应理解为“变长”字符,而非“多”字符。

       二者转换,WinApi 提供 MultiByteToWideCharWideCharToMultiByte 方法。转换的依据是 CodePage。对此,MSDN 上有细目可查。比如 MS936 码页便是 GB2312 与 Unicode 的映射关系表。

       第二组、Win OS 之 wchar_t 与 ANSI/ISO C/CPP 之 wchar_t

       ANSI/ISO C/CPP 中 wchar_t 表示长于 8-bit 的数据类型,至于多长,具体依赖实现。《Unicode 标准 4.0》如是说:

“ANSI/ISO C leaves the semantics of the wide character set to the specific implementation but requires that the characters from the portable C execution set correspond to their wide character equivalents by zero extension.”

“The width of wchar_t is compiler-specific and can be as small as 8 bits. Consequently, programs that need to be portable across any C or C++ compiler should not use wchar_t for storing Unicode text. The wchar_t type is intended for storing compiler-defined wide characters, which may be Unicode characters in some compilers.”

       标准可没说 wchar_t 表示的一定是 Unicode 编码,GB2312 也应可由 wchar_t 表示。只不过Win32 下 wchar_t 锁定为 UTF-16,而 Unix-like 通常为 UTF-32。对于亚欧主要文明体的文字,UTF-16 已经足够。

       在 VC 下,常量字串 "" 对应 const char* 型,L"" 对应 const wchar_t* 型。前者用来处理各种 Multibytes;而后者指定处理 UTF-16。对应的 cout 与 wcout、string 与 wstring、iostream 与 wiostream 等亦如此。

  1. "没有共产党,就没有新中国!" 字串,按系统环境默认编码处理,此处为 GB2312。 
  2. L"伟大领袖毛主席,万岁、万岁、万万岁!" 宽字串,由于指定了 L,因此该字串将转成 UTF-16 码流传给 wcout。注意其上一行指定了 chs 环境,也即 MS936 CodePage 映射,因此系统将 UTF-16 码流转为 GB2312 码流输出到控制台缓存(控制台为 I/O 终端文件)。
  3. "Let's Fuck 亚米利加合众国!" 字串,系统将传给 wcout 的系统默认编码流误当成 UTF-16 码去解码为 GB2312,由于英文字符二者对应,显示正常,而汉字编码不对应,造成汉字显示异常。
  4. L"USA Idiot" 宽字串的显示问题则与编码无关,cout 的 << 算符重载不认识 const wchar_t* 型数据,因此将此操作误当成取址输出,输出的便是该常量字串的地址。

       最后一个问题,工程属性可以设置字符集为 Multibytes 或 Unicode。这是用来切换 Winapi 版本的,是用 Ansi 版本或 Unicode 版本。

       W 系列流操作对像有何用呢?使用 wcout 比 cout 优势在哪儿呢?见如下例:

VC 之 cout 与 wcout 区别及 wchar_t、CharSet、CodePage 等相关概念解析_第2张图片

图二

       生成一个按倭文编码保存的文件 e:/Fck.txt。然后将那句歌词在控制台上显示出来。已知系统默认环境为 GB2312 编码。因此通过 w 系列流操作对像,通过 932、936 两页码映射,以 Unicode 流为中介,将 shift_jis 码流转成 gb2312 码流,在控制台终端正常显示。这活儿,用 cout 办不到。

       那 cout 不就没用了么?可以废掉它了。不!见如下示例:

  1. wcout.imbue ( locale ( "chs" ) );
  2. wcout << L"打倒美帝国主义!" << endl;
  3. // 第四行是另一个程序,与前两行无关,不受第一行约束
  4. wcout << "打倒苏修正主义!" << endl;

       第 2 行代码一句输出,首先 L 将字串转码成 UTF-16 流,然后向控制台输出时,还要根据 wcout.imbue 方法指定映射再转码一次。第 4 行,没有加 L,编译时按系统默认环境编码传给 wcout,但此时,wcout 会误将之用做 UTF-16 码流。尽管直接输出给控制台,由于未指定映射,码流被原封不动地冲入缓存,由于前后均为系统默认环境编码,因此显示正常;但此用法是极为危险的,因为其它使用 wcout 对像做转码操作将会失败。

       对于不需要跨文字系统平台的应用来说,使用 wiostream 多此一举,iostream 即可,比如自产自销的本机应用。若考虑到国际化,则应全部使用 w 系列流操作对像。MSDN 鼓励使用 wiostream。

       所属分类:C++ 模板计算机技术杂文

你可能感兴趣的:(Scheme,character,iostream,compiler,encoding,winapi)