文本分析-全角字符串与半角字符串的转换

最近在做文本分析与挖掘时，涉及到了全角字符串与半角字符串的转换问题。在文本处理的相关问题上，半角和全角字符通常是数据预处理的必要过程，在此做个学习总结。

全角指的是一个字符占2个标准字符的位置（例如中国汉字）。
半角指的是占1个标准字符的位置（例如普通的字符a）。

全角字符包含两类字符：

1. 特殊字符：空格，它的全角值十进制整数为12288，十六进制为0x3000，而其半角十进制整数值为32，十六进制结果为0x20.
2. 有规律的字符，这类字符的全角十进制整数范围为[65281,65374]，十六进制[0xFF01,0xFF5E]，半角十进制整数值[33,126]，十六进制[0x21,0x7E].

除了空格外，有规律的字符在半角和全角之间的差值为65248，因此我们可以直接在全角数值上减去65248即可得到半角数值。

例如，全角字符串“0 0 5 2 7 8 2 5 C B D”转换为半角字符串的结果是“00527825CBD”。

注意：
并不是所有的全角字符都能被转换为半角字符，例如汉字是全角字符，占2个字符的位置，但它无法被转换；只有英文字母、数字键、符号键等才能可以做全角和半角之间的转换。