解决读取文件乱码问题

一般在windows上的txt文本文件要么以ANSI编码要么以Unicode编码，而用C ,C++，MFC编写的程序一般人只会处理一种编码格式的文本，因为不懂怎么判断读取的文件是以哪种编码格式存储的。那么重点就是判断读取的文件是以哪种方式存储的！有两种方式解决。

一.用二进制方式打开文件，前两个字节为FFFE就是Unicode文件,ANSI则无格式定义.
如图：
这是以16进制打开Unicode文件，很明显看到前两个字节是FFFE

再来，用C语言读取文件，如图：
把buf的地址在内存中显示出来，其内容是FFFE两个字节

因为编译器是32位的，所以最后显示如图:

所以现在基本确定判断Unicode的方法了.
例如：

int main(void)
{
    if (IsUnicode("H:\\Unicode.txt"))
        printf("打开的是Unicode文件\n");
    else
        printf("打开的是ANSI文件\n");
    return 0;
}

IsUnicode函数实现如下：

bool IsUnicode(char* fileName)
{
    FILE* fp = fopen(fileName, "rb");
    if (!fp)
    {
        printf("打开文件失败!\n");
        return 1;
    }
    char buf[2] = { 0 };
    fread(buf, 1, 2, fp);
    char byte1[10] = { 0 };
    char byte2[10] = { 0 };
    sprintf(byte1, "%X", buf[0]);
    sprintf(byte2, "%X", buf[1]);
    int iLen1 = strlen(byte1);
    int iLen2 = strlen(byte2);
    if (byte1[iLen1 - 2] == 'F'&&byte1[iLen1 - 1] == 'F'&&
        byte2[iLen2 - 2] == 'F'&&byte2[iLen2 - 1] == 'E')
        return true;
    else
        return false;
    fclose(fp);
}

判断完之后就是用相应的方法进行读写了,这样一个程序就能实现两种文件的读写。有兴趣的还可以判断UFT-8的。

二.用ANSI方式读写，如果读到Unicode的，就会出现乱码，并且截断，我试了很多，发现不管多大文件，都出来的长度都是10以下，所以根据这个性质，可以判断读出来的是哪种方式编码.但是记住，不能用Unicode方式读写来判断，因为它读出来的虽然是乱码，但是长度却是不确定的.

这里我用文件映射的方法读取，这个比较方便转换编码方式.直接上代码吧，也没有什么可以说的了。如果不懂文件映射的，可以看看前面的文章.

/* @function ReadFileOfMapping 以内存映射的方式读取文件 @param strFileName 要读取的文件名称 @param strContent 存放读取出来的内容 @return TRUE OR FALSE 成功返回TRUE，失败返回FALSE */

BOOL ReadFileOfMapping(_In_ const CString strFileName,
    _Out_ CString& strContent)
{
    BOOL bRet = FALSE;
    CStringA strA;
    do
    {
        //创建文件对象
        HANDLE hFile = ::CreateFile(strFileName, GENERIC_READ, FILE_SHARE_READ, 0,
            OPEN_EXISTING, FILE_FLAG_SEQUENTIAL_SCAN, 0);
        if (hFile == INVALID_HANDLE_VALUE)
        {
            AfxMessageBox(TEXT("Open file faile!"));
            break;
        }
        //创建文件映射对象
        HANDLE hFileMapping = ::CreateFileMapping(hFile, 0, PAGE_READONLY, 0, 0, nullptr);
        if (!hFileMapping)
        {
            AfxMessageBox(TEXT("Mapping faile!"));
            break;
        }
        //将文件的数据映射到进程的地址空间
        void* basepointer = ::MapViewOfFile(hFileMapping, FILE_MAP_READ, 0, 0, 0);
        if (!basepointer)
        {
            AfxMessageBox(TEXT("View faile!"));
            CloseHandle(hFile);
            CloseHandle(hFileMapping);
            break;
        }
        //将进程空间的数据读到编辑框中
        strA = (char*)basepointer;
        strContent = strA;
        if (strContent.GetLength() < 10)    //如果是Unicode则把它转换为LPTSTR
            strContent = (LPTSTR)basepointer;
        //从进程的地址空间撤销对文件数据的映射
        UnmapViewOfFile(basepointer);
        //关闭文件映射对象
        CloseHandle(hFileMapping);
        //关闭文件对象
        CloseHandle(hFile);
    } while (FALSE);

    return bRet;
}

这个函数自我觉得封装得还不错，可以直接用于各种场合.这个函数有两个版本其实，一个是MFC的CString版本和C++的string版本.

还有一个需要注意的问题就是，因为Unicode多了两个字节的标记，所以Unicode比ANSI多一个字(Unicode是双字节编码)，就是文本头，有兴趣的可以去试试.