常用的宽字符函数

常用的宽字符函数
由于Windows NT/2000/XP采用的是Unicode字符编码，字符都是双字节的。所以在MFC编程中，一般需要使用双字节的字符类型wchar_t和对应的字符串及其指针类型LPCWSTR和LPCTSTR，并在常数字符串前添加了L转换符，串长计算函数不能用strlen而改用wcslen，串格式打印函数也不能用sprintf，而是改用swprintf。
wchar_t类型，在标准C++中为内置的数据类型和关键字；在C99标准中则为typedef类型，其等价的数据类型与具体的实现有关，在Win32和VC中定义为：
typedef  unsigned short  wchar_t;
下面是若干常用的宽字符函数（包含在ISO C99 / ISO C++的标准库中）：
#include <wchar.h>
size_t wcslen(const wchar_t *s);
int wprintf(const wchar_t * restrict format, ...);
int wscanf(const wchar_t * restrict format, ...);
int swprintf(wchar_t * restrict s, size_t n, const wchar_t * restrict format, ...);
int swscanf(const wchar_t * restrict s, const wchar_t * restrict format, ...);
long int wcstol(const wchar_t * restrict nptr, wchar_t ** restrict endptr, int base);
float wcstof(const wchar_t * restrict nptr, wchar_t ** restrict endptr);
double wcstod(const wchar_t * restrict nptr, wchar_t ** restrict endptr);

#include <stdlib.h>
errno_t _itow_s( int value, wchar_t *buffer, size_t sizeInCharacters, int radix ); 
errno_t _ultow_s( unsigned long value, wchar_t *str, size_t sizeOfstr, int radix );

多字节-multibyte
宽字符-widechar
非英语系的大部分语言，存在无法用有限的ascii字符表达的问题。
由此产生了使用多字节字符来表示的办法，比如GB编码的汉字。但多字节带来的一个显著不便就是多字节字符在处理的时候不太方便。比如文本编辑的时候，中英文混排，光标移动、汉字删除时会出现半个汉字的问题。

为了文本处理的方便，许多系统内部采用了将多字节字符和单字节字符都转换称宽字符的办法，将所有的字符都变成等宽，一切都方便了。
这就是说英文字符也可以采用宽字符的表达方式。也是我说上面的说发不够准确的原因。


但宽字符也不是完美的。最简单的问题就是使得采用unicode编码的英文文本体积会扩大一倍....:)

宽字符处理函数函数与普通函数对照表

只要看见“W”就是宽的意思，左边wchar_t，右边char

字符分类： 
宽字符函数            普通C函数            描述 
iswalnum()             isalnum()              测试字符是否为数字或字母 
iswalpha()             isalpha()                测试字符是否是字母 
iswcntrl()                iscntrl()                 测试字符是否是控制符 
iswdigit()                isdigit()                 测试字符是否为数字 
iswgraph()             isgraph()               测试字符是否是可见字符 
iswlower()              islower()               测试字符是否是小写字符 
iswprint()               isprint()                 测试字符是否是可打印字符 
iswpunct()             ispunct()               测试字符是否是标点符号 
iswspace()             isspace()              测试字符是否是空白符号 
iswupper()             isupper()              测试字符是否是大写字符 
iswxdigit()              isxdigit()              测试字符是否是十六进制的数字
wcslen()                 strlen()                  获取字符数组长度

大小写转换： 
宽字符函数            普通C函数            描述 
towlower()             tolower()            把字符转换为小写 
towupper()            toupper()             把字符转换为大写

字符比较： 
宽字符函数      普通C函数      描述 
wcscoll()           strcoll()            比较字符串

日期和时间转换： 
宽字符函数            描述 
strftime()               根据指定的字符串格式和locale设置格式化日期和时间 
wcsftime()             根据指定的字符串格式和locale设置格式化日期和时间， 并返回宽字符串 
strptime()              根据指定格式把字符串转换为时间值， 是strftime的反过程

打印和扫描字符串： 
宽字符函数                       描述 
fprintf()/fwprintf()             使用vararg参量的格式化输出 
fscanf()/fwscanf()             格式化读入 
printf()                              使用vararg参量的格式化输出到标准输出 
scanf()                              从标准输入的格式化读入 
sprintf()/swprintf()             根据vararg参量表格式化成字符串 
sscanf()                           以字符串作格式化读入 
vfprintf()/vfwprintf()           使用stdarg参量表格式化输出到文件 
vprintf()                             使用stdarg参量表格式化输出到标准输出 
vsprintf()/vswprintf()          格式化stdarg参量表并写到字符串

整型间转换： 
宽字符函数    普通C函数         描述 
wcstod()         strtod()               把宽字符的初始部分转换为双精度浮点数 
wcstol()           strtol()               把宽字符的初始部分转换为长整数 
wcstoul()          strtoul()             把宽字符的初始部分转换为无符号长整数

整型间转换扩充：
宽字符函数   普通C函数   描述
_itow_s()         itoa()         整型转宽字符串
_ltow_s()        ltoa()         长整型转宽字符串
_ultow_s()       ultoa()        无符号长整数同上 

PS：最好别用“_itow”

多字节字符和宽字符转换及操作： 
宽字符函数             描述 
mblen()                   根据locale的设置确定字符的字节数 
mbstowcs()             把多字节字符串转换为宽字符串 
mbtowc()/btowc()    把多字节字符转换为宽字符 
wcstombs()             把宽字符串转换为多字节字符串 
wctomb()/wctob()    把宽字符转换为多字节字符

输入和输出： 
宽字符函数     普通C函数     描述 
fgetwc()           fgetc()           从流中读入一个字符并转换为宽字符 
fgetws()           fgets()           从流中读入一个字符串并转换为宽字符串 
fputwc()           fputc()           把宽字符转换为多字节字符并且输出到标准输出 
fputws()           fputs()           把宽字符串转换为多字节字符并且输出到标准输出串 
getwc()            getc()            从标准输入中读取字符， 并且转换为宽字符 
getwchar()       getchar()       从标准输入中读取字符， 并且转换为宽字符 
None               gets()            使用fgetws() 
putwc()            putc()            把宽字符转换成多字节字符并且写到标准输出 
putwchar()        putchar()       把宽字符转换成多字节字符并且写到标准输出 
None               puts()             使用fputws() 
ungetwc()         ungetc()         把一个宽字符放回到输入流中

字符串操作： 
宽字符函数                   普通C函数          描述 
wcscat()                        strcat()               把一个字符串接到另一个字符串的尾部 
wcsncat()                      strncat()             类似于wcscat()， 而且指定粘接字符串的粘接长度. 
wcschr()                        strchr()               查找子字符串的第一个位置 
wcsrchr()                       strrchr()             从尾部开始查找子字符串出现的第一个位置 
wcspbrk()                      strpbrk()             从一字符字符串中查找另一字符串中任何一个字符第一次出现的位置 

wcswcs()/wcsstr()         strchr()              在一字符串中查找另一字符串第一次出现的位置 
wcscspn()                    strcspn()             返回不包含第二个字符串的的初始数目 
wcsspn()                      strspn()              返回包含第二个字符串的初始数目 
wcscpy()                      strcpy()              拷贝字符串 
wcsncpy()                    strncpy()             类似于wcscpy()， 同时指定拷贝的数目 
wcscmp()                      strcmp()              比较两个宽字符串 
wcsncmp()                   strncmp()             类似于wcscmp()， 还要指定比较字符字符串的数目 
wcslen()                       strlen()               获得宽字符串的数目 
wcstok()                       strtok()               根据标示符把宽字符串分解成一系列字符串 
wcswidth()                   None                   获得宽字符串的宽度 
wcwidth()                      None                  获得宽字符的宽度

另外还有对应于memory操作的 wmemcpy()， wmemchr()， wmemcmp()， wmemmove()， wmemset()．

宽字符和多字节字符
C 语言原本是在英文环境中设计的，主要的字符集是7 位的ASCII 码。从此开始，8 位的byte（字节）变成最常见的字符编码单位，但是国际化软件必须能够表示不同的字符，而这些字符数量庞大，无法使用一个字节编码，于是世界上使用各式各样多字节的字符编码集合已经有数十年了，比如用来表示“非拉丁字母”以及“非字母”的中、日、韩文字系统。在1994 年，“Normative Addendum 1”（基准增补一）的采用，让ISO C 可以标准化两种表示大型字符集的方法：宽字符（wide character，该字符集内每个字符使用相同的位长）以及多字节字符（multibyte character，每个字符可以是一到多个字节不等，而某个字节序列的字符值由字符串或流（stream）所在的环境背景决定）。
注意： 虽然C现在提供抽象机制，可以处理和转换不同种类的编码集合，但语言本身并没有定义或指定任何编码集合，或任何字符集（除前一节提到的基本源代码字符集和基本运行字符集外）。换句话说，这部分是由个别的实现版本指定如何编码宽字符，以及要支持什么类型的多字节字符编码机制。
自从1994 年的增补之后，C 不只提供char类型，还提供wchar_t类型（宽字符），此类型定义在stddef.h 头文件中。wchar_t 类型足以表示某个实现版本扩展字符集的任何元素。
虽然C 标准没有支持Unicode 字符集，许多实现版本使用Unicode 转换格式UTF-16 和UTF-32（参考http://www.unicode.org）来处理宽字符。Unicode 标准和ISO/IEC 10646标准相当接近，而且是许多既有字符集（包括7 位的ASCII）的超集。如果遵循Unicode标准，wchar_t类型至少是16或32位长，而wchar_t类型的一个值就代表一个Unicode字符。比方说，下列的定义将变量wc 初始化为希腊字母α。

wchar_t wc = '\x3b1';

此转义符以“\x”起头，后面接着十六进制的数字，会将这个数字所代表的字符赋值到变量中。在这个例子中，此字符是小写的alpha。在多字节字符集中，每个字符的编码宽度都不等，可以是一个字节，也可以是多个字节。源代码字符集和运行字符集都可能包含多字节字符，如果真的包含多字节字符的话，那么基本字符集中的每个字符都只会占用一个字节（完全没有多字节的字符），空字符是唯一的例外，空字符可能会占用任意个数的字节（但这些字节内全部的位都必须为0）。多字节字符可以被用于字符的常量、字符串字面值（string literal）、标识符（identifier）、注释（comment），以及头文件。许多的多字节字符集被设计来支持特定国家的语言，例如JIS 字符集（日本业界标准，Japanese Industrial Standard）。多字节UTF-8 字符集是由Unicode Consortium（万国码联盟）定义的，可以表示Unicode 字符集的所有字符。
UTF-8 字符所使用的空间大小从一个字节到四个字节都有可能。多字节字符和宽字符（也就是wchar_t）的主要差异在于宽字符占用的字节数目都一样，而多字节字符的字节数目不等，这样的表示方式使得多字节字符串比宽字符串更难处理。
比方说，即使字符'A'可以用一个字节来表示，但是要在多字节的字符串中找到此字符，就不能使用简单的字节比对，因为即使在某个位置找到相符合的字节，此字节也不见得是一个字符，它可能是另一个不同字符的一部分。然而，多字节字符相当适合用来将文字存储成文件（参见第13 章）。
C 提供了一些标准函数，可以将多字节字符转换为wchar_t，或将宽字符转换为多字节字符。比方说，如果C 编译器使用Unicode 标准的UTF-16 和UTF-8，那么下面调用wctomb()函数就可以获得字符α 的多字节表示方式（注：wctomb = wide character to multibyte）。

wchar_t wc = L'\x3B1'; // 小写的希腊字母alpha，α char mbStr[10] = ""; int nBytes = 0; nBytes = wctomb( mbStr, wc );

在调用此函数之后，mbStr数组会得到多字节的字符，在这个例子中，也就是"\xCE\xB1"符号。此wctomb()函数的返回值是“所需要的字节个数”，在这个例子中，被赋值到变量nBytes 的值是2，意思是：希腊小写字母alpha 在多字节字符中需要占用两个字节。

ANSI字符,UNICODE,宽字符,窄字符,多字节字符集

 

Unicode   ：宽字节字符集 
1. 如何取得一个既包含单字节字符又包含双字节字符的字符串的字符个数？ 
可以调用Microsoft   Visual   C++的运行期库包含函数_mbslen来操作多字节（既包括单字节也包括双字节）字符串。 
调用strlen函数，无法真正了解字符串中究竟有多少字符，它只能告诉你到达结尾的0之前有多少个字节。 
2. 如何对DBCS（双字节字符集）字符串进行操作？ 
函数 描述 
PTSTR   CharNext   （  LPCTSTR   ）; 返回字符串中下一个字符的地址 
PTSTR   CharPrev   （  LPCTSTR,   LPCTSTR   ）； 返回字符串中上一个字符的地址 
BOOL   IsDBCSLeadByte(   BYTE   )； 如果该字节是DBCS字符的第一个字节，则返回非0值 
3. 为什么要使用Unicode？ 
（1） 可以很容易地在不同语言之间进行数据交换。 
（2） 使你能够分配支持所有语言的单个二进制.exe文件或DLL文件。 
（3） 提高应用程序的运行效率。 
Windows   2000是使用Unicode从头进行开发的，如果调用任何一个Windows函数并给它传递一个ANSI字符串，那么系统首先要将字符串转换成Unicode，然后将Unicode字符串传递给操作系统。如果希望函数返回ANSI字符串，系统就会首先将Unicode字符串转换成ANSI字符串，然后将结果返回给你的应用程序。进行这些字符串的转换需要占用系统的时间和内存。通过从头开始用Unicode来开发应用程序，就能够使你的应用程序更加有效地运行。 
Windows   CE   本身就是使用Unicode的一种操作系统，完全不支持ANSI   Windows函数 
Windows   98   只支持ANSI，只能为ANSI开发应用程序。 
Microsoft公司将COM从16位Windows转换成Win32时，公司决定需要字符串的所有COM接口方法都只能接受Unicode字符串。 
4. 如何编写Unicode源代码？ 
Microsoft公司为Unicode设计了WindowsAPI，这样，可以尽量减少代码的影响。实际上，可以编写单个源代码文件，以便使用或者不使用Unicode来对它进行编译。只需要定义两个宏（UNICODE和_UNICODE），就可以修改然后重新编译该源文件。 
_UNICODE宏用于C运行期头文件，而UNICODE宏则用于Windows头文件。当编译源代码模块时，通常必须同时定义这两个宏。 
5. Windows定义的Unicode数据类型有哪些？ 
数据类型 说明 
WCHAR Unicode字符 
PWSTR 指向Unicode字符串的指针 
PCWSTR 指向一个恒定的Unicode字符串的指针 
对应的ANSI数据类型为CHAR，LPSTR和LPCSTR。 
ANSI/Unicode通用数据类型为TCHAR，PTSTR,LPCTSTR。 
6. 如何对Unicode进行操作？ 
字符集 特性 实例 
ANSI 操作函数以str开头 strcpy
Unicode 操作函数以wcs开头 wcscpy
MBCS 操作函数以_mbs开头 _mbscpy
ANSI/Unicode 操作函数以_tcs开头 _tcscpy（C运行期库） 
ANSI/Unicode 操作函数以lstr开头 lstrcpy（Windows函数） 
所有新的和未过时的函数在Windows2000中都同时拥有ANSI和Unicode两个版本。ANSI版本函数结尾以A表示；Unicode版本函数结尾以W表示。Windows会如下定义： 
#ifdef     UNICODE
#define     CreateWindowEx     CreateWindowExW
#else
#define     CreateWindowEx     CreateWindowExA
#endif       //   !UNICODE
7. 如何表示Unicode字符串常量？ 
字符集 实例 
ANSI “string”
Unicode L“string”
ANSI/Unicode T(“string”)或_TEXT(“string”)if(   szError[0]   ==   _TEXT(‘J’)   ){   }
8. 为什么应当尽量使用操作系统函数？ 
这将有助于稍稍提高应用程序的运行性能，因为操作系统字符串函数常常被大型应用程序比如操作系统的外壳进程Explorer.exe所使用。由于这些函数使用得很多，因此，在应用程序运行时，它们可能已经被装入RAM。 
如：StrCat，StrChr，StrCmp和StrCpy等。 
9. 如何编写符合ANSI和Unicode的应用程序？ 
（1） 将文本串视为字符数组，而不是chars数组或字节数组。 
（2） 将通用数据类型（如TCHAR和PTSTR）用于文本字符和字符串。 
（3） 将显式数据类型（如BYTE和PBYTE）用于字节、字节指针和数据缓存。 
（4） 将TEXT宏用于原义字符和字符串。 
（5） 执行全局性替换（例如用PTSTR替换PSTR）。 
（6） 修改字符串运算问题。例如函数通常希望在字符中传递一个缓存的大小，而不是字节。这意味着不应该传递sizeof(szBuffer),而应该传递（sizeof(szBuffer)/sizeof(TCHAR)。另外，如果需要为字符串分配一个内存块，并且拥有该字符串中的字符数目，那么请记住要按字节来分配内存。这就是说，应该调用malloc(nCharacters   *sizeof(TCHAR)),而不是调用malloc(nCharacters)。 
10. 如何对字符串进行有选择的比较？ 
通过调用CompareString来实现。 
标志 含义 
NORM_IGNORECASE 忽略字母的大小写 
NORM_IGNOREKANATYPE 不区分平假名与片假名字符 
NORM_IGNORENONSPACE 忽略无间隔字符 
NORM_IGNORESYMBOLS 忽略符号 
NORM_IGNOREWIDTH 不区分单字节字符与作为双字节字符的同一个字符 
SORT_STRINGSORT 将标点符号作为普通符号来处理 
11. 如何判断一个文本文件是ANSI还是Unicode？ 
判断如果文本文件的开头两个字节是0xFF和0xFE，那么就是Unicode，否则是ANSI。 
12. 如何判断一段字符串是ANSI还是Unicode？ 
用IsTextUnicode进行判断。IsTextUnicode使用一系列统计方法和定性方法，以便猜测缓存的内容。由于这不是一种确切的科学方法，因此  IsTextUnicode有可能返回不正确的结果。 
13. 如何在Unicode与ANSI之间转换字符串？ 
Windows函数MultiByteToWideChar用于将多字节字符串转换成宽字符串；函数WideCharToMultiByte将宽字符串转换成等价的多字节字符串。

6.7 多字节字符和宽字符

最初，ISO C 的国际化仅影响库函数。但是，国际化的最终阶段（多字节字符和宽字符）还影响语言。

6.7.1 亚洲语言需要多字节字符

亚洲语言计算机环境中的根本问题是 I/O 需要大量表意文字。为了适应普通计算机体系结构，这些表意文字被编码为字节序列。相关的操作系统、应用程序和终端将这些字节序列理解为单个表意字符。此外，所有这些编码都允许将常规单字节字符与表意字符字节序列混杂在一起。识别不同表意字符的难度取决于使用的编码方案。

无论使用什么编码方案，ISO C 均将术语“多字节字符”定义为表示为表意字符编码的字节序列。所有多字节字符都是“扩展字符集”的成员。常规的单字节字符仅仅是多字节字符的特殊情形。对编码的唯一要求是多字节字符不能将空字符用作它的编码的一部分。

ISO C 指定程序注释、文本字符串、字符常量和头文件名均为多字节字符序列。

6.7.2 编码变种

编码方案分为两种。第一种方案是，每个多字节字符都是自标识的，即，可以在任何多字节字符对之间插入任何多字节字符。

第二种方案是，特殊的移位字节的存在会更改后续字节的解释。一个示例是，某些字符终端进入和退出行绘制模式所用的方法。对于使用与移位状态相关的编码以多字节字符编写的程序，ISO C 要求每个注释、文本字符串、字符常量和头文件名称都必须以未移位状态开始和结束。

6.7.3 宽字符

如果所有字符的字节数或位数都相同，则会消除处理多字节字符的一些不便之处。由于在这样的字符集中可能存在成千上万的表意字符，因此应使用 16 位或 32 位大小的整数值容纳所有成员。（整个中文字母表包含的表意字符超过 65,000 个！）ISO C 包括 typedef 名称 wchar_t，将其作为大得足以容纳扩展字符集的所有成员的实现定义整数类型。

对于每个宽字符，都存在对应的多字节字符，反之亦然；必须具有对应于常规单字节字符的宽字符，才能具有与其单字节值相同的值，包括空字符。但是，并不保证宏 EOF 的值可以存储在 wchar_t 中，因为 EOF 可能无法表示为 char。

6.7.4 转换函数

1990 ISO/IEC C 标准提供了五个管理多字节字符和宽字符的库函数，1999 ISO/IEC C 标准提供了更多此类函数。

6.7.5 C 语言特征

为了给亚洲语言环境中的程序员带来更大的灵活性，ISO C 提供了宽字符常量和宽文本字符串。它们具有与其非宽版本相同的形式，但位置是紧邻字母 L 之后：

• 'x' 常规字符常量

• '¥' 常规字符常量

• L'x' 宽字符常量

• L'¥' 宽字符常量

• "abc¥xyz" 常规文本字符串

• L"abcxyz" 宽文本字符串

在常规版本和宽版本中，多字节字符均有效。生成表意字符 ¥ 所必需的字节序列与编码有关，但是如果它由多个字节组成，则字符常量 '¥' 的值是实现定义的，正如 'ab' 的值是实现定义的一样。除了换码序列之外，常规文本字符串包含引号之间指定的字节，包括每个指定的多字节字符的字节。

当编译系统遇到宽字符常量或宽文本字符串时，每个多字节字符都将转换为宽字符，如同调用了 mbtowc() 函数一样。因此，L'¥' 的类型为wchar_t；abc¥xyz 的类型为八位数组 wchar_t。正如常规文本字符串那样，每个宽文本字符串都附加有额外的零值元素，但是在这些情况下，它是值为零的 wchar_t。

正如常规文本字符串可用作字符数组初始化的快捷方法，宽文本字符串可用于初始化 wchar_t 数组：

wchar_t *wp = L"a¥z"; wchar_t x[] = L"a¥z"; wchar_t y[] = {L’a’, L’¥’, L’z’, 0}; wchar_t z[] = {’a’, L’¥’, ’z’, ’\0’};

在以上示例中，x、y 和 z 这三个数组以及 wp 指向的数组具有相同长度。所有数组均使用相同的值进行初始化。

最后，正如常规文本字符串一样，串联相邻宽文本字符串。但是，对于 1990 ISO/IEC C 标准，相邻常规文本字符串和宽文本字符串会产生不确定的行为。此外，1990 ISO/IEC C 标准还指定如果编译器不接受此类串联，也不必生成错误。

•