日文euc-jp编码转换——谈codepage 51932

EUC-JP编码常见于日文网页、数据库。但是，用过GNU的recode或者iconv的可能会有体会，就是往往一个euc-jp编码的文件并不能成功地转换为其他编码格式，碰到像罗马数字这样的字符就会出错。这是因为这些都属于euc-jp标准的扩充，虽然实际在使用但是GNU的工具并不支持。


在Windows下，可以采用MultiByteToWideChar和WideCharToMultiByte来转换euc-jp编码的文件。这里euc-jp编码对应codepage 20932。但是这样仍然不能覆盖全部的字符集。包含全部扩充文字（NEC選定IBM拡張文字等）的euc-jp编码对应于codepage 51932，但是Windows的API并不支持。据说只有IE使用的MLang的ConvertINetString之类的函数才能使用codepage 51932。但是我试过在XP英文版下用gcc编译的程序仍然不能使用cp51932。


测试代码1：

// gcc -Wall conve.c mlang.dll
#include
#include
#include
#include
#include
#define MAX_BUF 256
extern HRESULT ConvertINetString(LPDWORD, DWORD, DWORD, LPCSTR, LPINT, LPSTR, LPINT);


int main(int argc, char *argv[])
{
    DWORD mode = 0, srcenc, dstenc;
    BYTE src[MAX_BUF], dst[MAX_BUF*2];
    UINT srclen, dstlen;
    FILE *fp, *gp;
    int line = 0;

    srcenc = 65001;
    dstenc = 936;
    if (argc > 1)
        srcenc = atoi(argv[1]);
    if (argc > 2)
        dstenc = atoi(argv[2]);
    printf("From %lu to %lu/n", srcenc, dstenc);

    fp = stdin;
    gp = fopen("log.tmp", "w");
    while (!feof(fp) && fgets(src, MAX_BUF, fp))
    {
        srclen = strlen(src);
        if (srclen > 0 && src[srclen - 1] == '/n')
            --srclen;
        printf("Line %d: ", ++line);
        fprintf(gp, "Line %d: %.*s/n", line, srclen, src);
        fflush(gp);
        switch (ConvertINetString(&mode, srcenc, dstenc, 
                                          src, &srclen, dst, &dstlen))
        {
            case S_OK:
                break;
            case S_FALSE:
                fprintf(stderr, "The specified conversion is not supported on the system./n");
                //exit(1);
                break;
            case E_FAIL:
                fprintf(stderr, "An error occurred./n");
                break;
        }
        printf("%d/n", dstlen);
        printf("%.*s/n", dstlen, dst);
    }

    fclose(gp);

    return 0;
}

测试代码2：

// gcc -Wall test.c -lole32 -luuid
// needs patched mlang-uuid.c to build libuuid
#include
#include
#include
#include
#include
#include
#include
#define MAX_BUF 256

int main(int argc, char *argv[])
{
    IMultiLanguage *p;
    DWORD mode = 0, srcenc, dstenc;
    BYTE src[MAX_BUF], dst[MAX_BUF*2];
    UINT srclen, dstlen;
    FILE *fp;
    int line = 0;

    CoInitialize(NULL);   
    if ( FAILED(CoCreateInstance(&CLSID_CMultiLanguage   ,NULL,
                                 CLSCTX_ALL, &IID_IMultiLanguage2 ,(void**)&p)) )
    {   
        return -1;
    }  

    srcenc = 65001;
    dstenc = 936;
    if (argc > 1)
        srcenc = atoi(argv[1]);
    if (argc > 2)
        dstenc = atoi(argv[2]);
    printf("From %lu to %lu/n", srcenc, dstenc);

    fp = stdin;
    while (!feof(fp) && fgets(src, MAX_BUF, fp))
    {
        srclen = strlen(src);
        if (srclen > 0 && src[srclen - 1] == '/n')
            --srclen;
        printf("Line %d: ", ++line);
        //assert(  p->lpVtbl->ConvertString != NULL);
        switch ( p->lpVtbl->ConvertString(p, &mode, srcenc, dstenc, 
                                          src, &srclen, dst, &dstlen) )
        {
            case S_OK:
                break;
            case S_FALSE:
                fprintf(stderr, "The specified conversion is not supported on the system./n");
                //exit(1);
                break;
            case E_FAIL:
                fprintf(stderr, "An error occurred./n");
                break;
        }
        printf("%d/n", dstlen);
        printf("%.*s/n", dstlen, dst);
    }

    p->lpVtbl->Release(p);
    CoUninitialize();
    return 0;
}

既然用API的方法不行，那么究竟怎么办呢？


解决方法其实很简单：打上日本人做的libiconv补丁就行了。地址： http://www2d.biglobe.ne.jp/~msyk/software/libiconv-patch.html。然后就可以使用CP51932作为完整的euc-jp编码来进行转换了。这就跟iconv的GBK不完整，用GB18030就全了类似。