c语言支持的字符编码
多字节字符编码:用一个字节表示数字、字母,用多个字节表示其它字符(汉字两个字节)。字符长度定义:一个字节为一个字符长度。
宽字节字符编码(UNICODE):全部用两个字节表示字符。字符长度定义:两个字节为一个字符长度。
c语言默认的字符编码方式为多字节字符编码(单双字节混合表示)
宽字节字符定义方式:
wchar_t cText = L'A';
//字符
wchar_t* pszText = L"ABCD";
//字符串
TCHAR
为了程序中方便的支持Unicode和多字节字符等,使用宏TCHAR定义字符和字符串。根据_UNICODE宏开关,会将TCHAR编译成不同类型的字符,
在<tchar.h>中有如下定义
#ifndef _UNICODE //如果定义了UNICODE
typedef char TCHAR //定义TCHAR为char
#define _T(x) x //使用宏_T方便定义字符
#else //否则
typedef wchar_t TCHAR //定义TCHAR为wchar_t
#define _T(x) L##x
#endif
使用时需要包含<tchar.h>头文件,使用_UNICODE宏开关来控制字符类型
字符定义方式:
#define _UNICODE
#include <tchar.h>
TCHAR *pszText = _T("ABCD");
这样字符就会由_UNICODE宏控制编译为多字节还是宽字节
Win32程序与字符编码
Win32的每个API对多字节字符和UNICODE分别有不同的版本
例如:MessageBox(),MessageBoxA(),MessageBoxW()
MessageBox()为宏,由UNICODE控制被编译为MessageBoxA()还是MessageBoxW()
Win32中使用TEXT代替_T()定义字符,例如
TCHAR* pszText = TEXT("ABCD");
字符转换
函数介绍
WideCharToMultiByte
函数功能:该函数映射一个unicode字符串到一个多 字节字符串。
函数原型:
int WideCharToMultiByte(
UINT
CodePage, //指定执行转换的 代码页
DWORD
dwFlags, //允许你进行额外的控制,它会影响使用了读音符号(比如重音)的字符
LPCWSTR
lpWideCharStr, //指定要转换为宽字节字符串的 缓冲区
int
cchWideChar, //指定由参数lpWideCharStr指向的缓冲区的 字符个数
LPSTR
lpMultiByteStr, //指向接收被转换字符串的缓冲区
int
cchMultiByte, //指定由参数lpMultiByteStr指向的 缓冲区最大值
LPCSTR
lpDefaultChar, //遇到一个不能转换的宽字符,函数便会使用pDefaultChar参数指向的字符
LPBOOL
pfUsedDefaultChar //至少有一个字符不能转换为其多字节形式,函数就会把这个变量设为TRUE
);
参数:
CodePage:指定执行转换的 代码页,这个参数可以为系统已安装或有效的任何代码页所给定的值。你也可以指定其为下面的任意一值:
CP_ACP:ANSI代码页;CP_MACCP:Macintosh代码页;CP_OEMCP:OEM代码页;
CP_SYMBOL:符号代码页(42);CP_THREAD_ACP:当前线程ANSI代码页;
CP_UTF7:使用UTF-7转换;CP_UTF8:使用UTF-8转换。
MultiByteToWideChar
函数功能:该函数映射一个字符串到一个 宽字符(unicode)的字符串。由该函数映射的 字符串没必要是多 字节字符组。
函数原型:
int MultiByteToWideChar(
UINT CodePage,
DWORD dwFlags,
LPCSTR lpMultiByteStr,
int cchMultiByte,
LPWSTR lpWideCharStr,
int cchWideChar
);
参数说明
CodePage:指定执行转换的 字符集,这个参数可以为系统已安装或有效的任何字符集所给定的值。你也可以指定其为下面的任意一值:
CP_ACP:ANSI字符集;CP_MACCP:Macintosh 代码页;CP_OEMCP:OEM代码页;
CP_SYMBOL:符号字符集(42);CP_THREAD_ACP:当前线程ANSI代码页;
CP_UTF7:使用UTF-7转换;CP_UTF8:使用UTF-8转换。
dwFlags:一组位标记用以指出是否未转换成预作或 宽字符(若组合形式存在),是否使用象形文字替代 控制字符,以及如何处理无效字符。你可以指定下面是标记 常量的组合,含义如下:
MB_PRECOMPOSED:通常使用预作 字符——就是说,由一个基本字符和一个非空字符组成的字符只有一个单一的字符值。这是缺省的转换选择。不能与
MB_COMPOSITE值一起使用。
MB_COMPOSITE:通常使用 组合字符——就是说,由一个基本字符和一个非空字符组成的字符分别有不同的字符值。不能与MB_PRECOMPOSED值一起使用。
MB_ERR_INVALID_CHARS:如果函数遇到无效的输入字符,它将运行失败,且GetLastErro返回ERROR_NO_UNICODE_TRANSLATION值。
MB_USEGLYPHCHARS:使用象形文字替代 控制字符。
组合字符由一个基础字符和一个非空字符构成,每一个都有不同的字符值。每个预作 字符都有单一的字符值给基础/非空字符的组成。在字符è中,e就是基础字符,而重音符标记就是非空字符。
函数的缺省动作是转换成预作的形式。如果预作的形式不存在,函数将尝试转换成组合形式。
标记MB_PRECOMPOSED和MB_COMPOSITE是互斥的,而标记MB_USEGLYPHCHARS和MB_ERR_INVALID_CHARS则不管其它标记如何都可以设置。
lpMultiByteStr:指向将被转换 字符串的字符。
cchMultiByte:指定由参数lpMultiByteStr指向的字符串中 字节的个数。如果lpMultiByteStr指定的字符串以空字符终止,可以设置为-1(如果字符串不是以空字符中止,设置为-1可能失败,可能成功),此参数设置为0函数将失败。
lpWideCharStr:指向接收被转换字符串的 缓冲区。
cchWideChar:指定由参数lpWideCharStr指向的缓冲区的宽字符个数。若此值为零,函数返回缓冲区所必需的 宽字符数,在这种情况下,lpWideCharStr中的缓冲区不被使用。
使用方法
由于转换前不知道转换后的字符长度,无法定义合适大小的变量存放转换后的字符,所以使用预转换的方法。
1. 将要转换的字符串传递给参数,接收缓冲置为缺省,接收缓冲大小为0,从返回值中获得转换后的字符数。(预转换)
2. 根据返回的字符数分配空间
3. 再次调用转换函数,并将分配的空间传递给转换函数,得到结果。
代码示例
//宽字节字符转换为多字节字符
BOOL CStringToChar(const CString &str, CHAR *pBuf, int nBufSize)
{
//注意:以下n和len的值大小不同,n是按字符计算的,len是按字节计算的
ASSERT(pBuf != NULL);
int n = str.GetLength();
int len = WideCharToMultiByte(CP_ACP,0,str,n,NULL,0,NULL,NULL);
if (nBufSize - 1 < len)
{
TRACE(_T("CString转换成Char失败,原因:使用的buffer大小不够!"));
return FALSE;
}
//宽字节编码转换成多字节编码
WideCharToMultiByte(CP_ACP, 0, str, n, pBuf, len, NULL, NULL);
pBuf[len] = '\0'; //多字节字符以'\0'结束
return TRUE;
}
//多字节字符转换为宽字节字符
BOOL CharToCString(CHAR *pBuf, CString &str)
{
ASSERT(pBuf != NULL);
int clen = strlen(pBuf);
int len = MultiByteToWideChar(CP_ACP, 0, pBuf, clen, NULL, 0);
TCHAR *pTbuf = new TCHAR[len + 1];
if (pBuf == NULL)
{
TRACE0("CCommonTool::CharToCString函数中动态申请内存失败!");
return FALSE;
}
//实现多字节编码转换成宽字节编码
MultiByteToWideChar(CP_ACP, 0, pBuf, clen, pTbuf, len);
pTbuf[len] = '\0';
//str.Append(pTbuf);
str = pTbuf;
//释放动态对内存
delete pTbuf;
return TRUE;
}