linux c++中文处理问题及occi入库中文

最近遇到了C++处理中文问题，系统收到UDP消息中的中文为Unicode编码按字符转为ascii码的格式发过来的，例如，外部系统要发个“君”过来，则实际发过来的是“541b”四个字符，现在需要将收到的消息解析后用occi插入DB。

下面就这两天学到的知识做一个总结，有不对的地方还请大家指正。

一、对字符集和编码格式有概念混淆的问题
常见字符集名称：ASCII字符集、GB2312字符集、BIG5字符集、 GB18030字符集、Unicode字符集等。
注意，UTF-8和UTF-16都是基于Unicode字符集的编码格式，前面提到的“君”的UTF-16编码是“541b”，UTF-8的编码是“c5909b”,UTF-16与UTF-8编码格式之间的转换，只需要移位处理即可，但UTF-16与GBK之间的转换，由于跨越了字符集，所以需要做相应的字符映射（也就相当于查表），没有表也就没办法转了。

二、UTF-8与UTF-16编码格式的对应关系如下：
字母x表示可用编码的位。

   Unicode符号范围       |   UTF-8编码方式
      (十六进制)                | （二进制）
------------------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx

0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

三、附上网上找的UTF-16转UTF-8的代码(由于本人的应用只涉及两个字节的UTF-16编码，故以下代码不大于0xFFFF的字符转换)

 static void UTF16ToUTF8(uint16_t* pUTF16, int32_t UTF16Len,
                            UTF8* pUTF8,
                            int32_t UTF8Len)
    {
        uint16_t* pData = NULL;
        int32_t utf8Offset = 0;

        for (int32_t i = 0; i < UTF16Len; i++)
        {
            pData = &pUTF16[i];
            if (*pData <= 0x007F && (utf8Offset + 1) <= UTF8Len)
            {
                pUTF8[utf8Offset++] = *pData;
            }
            else
                if ((*pData >= 0x0080 && *pData <= 0x07ff)
                    && (utf8Offset + 2) <= UTF8Len)
                {
                    pUTF8[utf8Offset++] = (*pData >> 6) | 0XC0;
                    pUTF8[utf8Offset++] = (*pData & 0x3F) | 0x80;
                }
                else
                    if (*pData >= 0x0800 && utf8Offset + 3 <= UTF8Len)
                    {
                        pUTF8[utf8Offset++] = (*pData >> 12) | 0xE0;
                        pUTF8[utf8Offset++] = ((*pData >> 6) & 0x3F) | 0x80;
                        pUTF8[utf8Offset++] = (*pData & 0x3F) | 0x80;
                    }
                    else
                    {
                        break;
                    }
        }
    }
	
    static void UnicodeCharToUtf8(const char *pUncodeChar,
                                 int32_t UncodeCharLength,
                                 UTF8* pUTF8,
                                 int32_t UTF8Len)
    {
        if (NULL == pUncodeChar || UncodeCharLength <= 0)
        {
            return;
        }
        int32_t wcharLen = UncodeCharLength / 4;
        wchar16_t* wStr = new wchar16_t[wcharLen + 1];
        memset(wStr, 0x00, sizeof(wchar16_t) * (wcharLen + 1));
        for (int32_t j = 0; j < wcharLen; j++)
        {
            char temp[5] = { 0 };
            memcpy(temp, &pUncodeChar[j * 4], 4);
            wStr[j] = strtol(temp, NULL, 16);
        }
        UTF16ToUTF8(wStr, wcharLen, pUTF8, UTF8Len);
    }

四、关于occi入库中文问题
需要设置Environment的中文编码格式，调用函数为 Environment::createEnvironment("UTF8","UTF8");    

即将Environment设置成与你要插入的中文字符的编码格式相同，则插入的内容就会在DB中显示成中文。
 若不设置Environment，则occi会默认使用系统环境变量NLS_LANG的值来作为编码格式，所以也可以通过设置环境变量来设置Environment的中文编码格式

export NLS_LANG=american_america.AL32UTF8