正确使用 Unicode 和 MBCS 字符集

正确使用 Unicode 和 MBCS 字符集

在 Windows 下做开发，初学者经常面临字符集选择的问题。本文详细解释 MBCS 字符集和 Unicode 字符集的正确使用方法，以及为什么写程序要用 Unicode 字符集。同时对 UTF-8 做了简单介绍。

在程序中正确使用字符集

以 VC 为例，微软在 VC6.0 的时候，创建项目的默认字符集是 MBCS。从 VC2002（就是 VC7.0）开始，默认字符集就变为了 Unicode，直到今天。

为了减少字符编码造成的种种问题，请务必确保整个项目使用相同的字符集编码。比如，如果设置项目字符集为 Unicode，那么整个项目都要用 Unicode 方式处理字符串。具体方法：

1. 设置项目字符集

有两种方法设置项目字符集。

方法一，在项目属性中设置：

以 VC2010 Express 为例：在 Solution Explorer 右击项目 -> Properties，打开的属性窗口中，左侧选择 Configuration Properties / General 分类，右边将 Character Set 设置为 Use Unicode Character Set 即表示将项目设置为 Unicode 字符集，设置为 Use Multi-Byte Character Set 即表示将项目设置为 MBCS 字符集。

方法二，在代码中设置：

在代码的最顶部增加以下代码，表示程序使用 Unicode 字符集：

#define UNICODE
#define _UNICODE

在代码的最顶部增加以下代码，表示程序使用 MBCS 字符集：

#undef UNICODE
#undef _UNICODE

备注：_UNICODE 用于 C 运行库，UNICODE 用于 WINAPI。

2. 写程序时使用对应的字符集

对于 MBCS 字符集：char 定义字符（串），字符和字符串常量直接使用（例如：“Hello” 表示 MBCS 字符串），字符串函数可以使用 strlen、strcpy、strcmp 等。STL 可以使用 string。

对于 Unicode 字符集：wchar_t 定义字符（串），字符和字符串常量加 L 前缀（例如：L"hello" 表示 Unicode 字符串），字符串函数可以使用 wcslen、wcscpy、wcscmp 等。STL 可以使用 wstring。

如果需要同时适用 Unicode 和 MBCS 两种字符集编码：TCHAR 定义字符（串），字符和字符串常量加 _T("")（例如：_T("hello") 表示 Unicode/MBCS 自适应字符串），字符串函数可以使用 _tcslen、_tcscpy、_tcscmp 等。

具体每个字符串函数在不同字符集编码下的函数名，请参考微软的帮助文档。

通过示例展现 Unicode 比 MBCS 的优势

• 实验环境 Windows 7 + VC2010 Express + EasyX_20220116。（在 Win10 下可以得到同样的结果）
• 因为代码中涉及到英文中文韩文字符，需要将 .cpp 文件以 UTF-8 编码保存。方法：File -> Save xxx.cpp As…，在文件另存为对话框里，“保存”按钮右边有一个向下的箭头，点击后选择“Save with Encoding…”，同意覆盖原文件，然后 Encoding 选择 Unicode (UTF-8 with signature) - Codepage 65001，Line endings 不用调整，确定保存即可。

两个示例程序的具体设置与代码

第一个示例程序：

项目名称 TestUnicode
项目类型：Win32 Console Application
项目字符集：Unicode

#include 
#include 

int main()
{
	wchar_t s[] = L"厉害了我的国";

	initgraph(640, 480);
	settextstyle(24, 0, L"微软雅黑");
	outtextxy(10, 30, s);
	_getch();
	closegraph();

	return 0;
}

第二个示例程序：

项目名称 TestMbcs
项目类型：Win32 Console Application
项目字符集：MBCS

#include 
#include 

int main()
{
	char s[] = "厉害了我的国";

	initgraph(640, 480);
	settextstyle(24, 0, "微软雅黑");
	outtextxy(10, 30, s);
	_getch();
	closegraph();

	return 0;
}

原理解释

ASCII 码规定了每个字符一个字节，前 128 个属于常规 ASCII 码，后 128 个属于扩展 ASCII 码。常规 ASCII 码里面含有英文大小写字母、阿拉伯数字、常见标点符号等。扩展 ASCII 码里面是一些不常用的字符。

于是在过去，想要表示多语言的时候，就利用了扩展 ASCII 码不常用的特点，将两个连续的扩展 ASCII 码表示成其它语言。

例如中文的 GB2312 编码，将汉字分成 94 个区和 94 个位，区和位分别使用了扩展 ASCII 码的 161~254 这个范围。“中国”两字的区位码分别是 5448 2590，那么可以构造一个这样的程序（暂时忽略编译警告）：

// 设置为 MBCS 字符集
#undef UNICODE
#undef _UNICODE

#include 
#include 

int main()
{
	// “中”的区位码是 54 48，“国”的区位码是 25 90
	char s[] = {160 + 54, 160 + 48, 160 + 25, 160 + 90, 0};

	initgraph(640, 480);
	settextstyle(24, 0, "微软雅黑");
	outtextxy(10, 30, s);
	_getch();
	closegraph();

	return 0;
}

执行这个程序，可以成功的输出“中国”两个字。

这就是在 MBCS 字符集下中文的表示形式。

其他语言类似，比如韩文的 EUC-KR 编码（过去叫 KSC5601 编码），也用的两个扩展 ASCII 码，并且范围也是 0xA1-0xFE。台湾地区的 BIG5 编码也覆盖了这个范围。那么问题来了：两个扩展 ASCII 码，究竟表示中文、韩文还是繁体中文或者别的语言？

这取决于操作系统的系统区域（locale）设置，
当 locale 设置为简体中文，那么两个连续的扩展 ASCII 码就会根据 GB2312 编码解析；
当 locale 设置为韩文，那么两个连续的扩展 ASCII 码就会根据 EUC-KR 编码解析。

由此可知：

1. 系统区域设置错误，MBCS 字符集的字符串就无法正确显示。
2. MBCS 字符集无法实现多语言混合显示。

当编码与 locale 不匹配的时候，就会出现“乱码”。

Unicode 字符集整合了全世界所有语言的文字，任何语言的任何一个文字，在 Unicode 编码中都有唯一的值对应。因此不再需要设置“系统区域（locale）”，也就不会产生“乱码”了。

就像前面的实验看到的那样，采用 Unicode 字符集的程序，无论是同时显示多少种语言，无论在什么语言的操作系统上执行，都可以正常显示。

该文章会更新，欢迎大家批评指正。

推荐一个零声学院的C++服务器开发课程，个人觉得老师讲得不错，
分享给大家：Linux，Nginx，ZeroMQ，MySQL，Redis，
fastdfs，MongoDB，ZK，流媒体，CDN，P2P，K8S，Docker，
TCP/IP，协程，DPDK等技术内容
点击立即学习：C/C++后台高级服务器课程