如何判断文件的编码方式

最近做东西需要知道文件（txt，html...）究竟是什么编码方式，不然读取文件内容可能出现乱码：

经过网上查找发现两种总结一下，方便自己也方便别人：

①通过判断文件头，不过文件头不是必须的，所以有些文件是没有文件头的

/*
        EF BB BF　　　 UTF-8  
        FE FF　　　　　UTF-16/UCS-2, little endian  
        FF FE　　　　　UTF-16/UCS-2, big endian  
        FF FE 00 00　　UTF-32/UCS-4, little endian.  
        00 00 FE FF　　UTF-32/UCS-4, big-endian.

*/

参考代码：

        BYTE hdBuf[3];
        file.Read(hdBuf, 3); //读取文件头来判断是哪种类型
        file.SeekToBegin();
        if(hdBuf[0] == strtoul(_T("ff"), NULL, 16) && hdBuf[1] == strtoul(_T("fe"), NULL,16))
        {
            //unicode
        }
        else if (hdBuf[0] == strtoul(_T("fe"), NULL, 16) && hdBuf[1] == strtoul(_T("ff"), NULL, 16))
        {
            //unicode big endian
        }
        else if(hdBuf[0] == strtoul(_T("ef"), NULL,16) &&
            hdBuf[1] == strtoul(_T("bb"), NULL, 16)&&
            hdBuf[2] == strtoul(_T("bf"), NULL, 16)) //utf8
        {
            //utf8
        }
        else
        {
            //ansi
        }

②判断文本是否是utf8，在网上看到的，测试未发现问题，有待进一步验证

参考代码：

inline bool IsTextUTF8(char* str,ULONGLONG length)
{
    DWORD nBytes = 0;                //UFT8可用1-6个字节编码,ASCII用一个字节
    UCHAR chr;
    BOOL bAllAscii = true;            //如果全部都是ASCII, 说明不是UTF-8
    for(int i = 0;i < length;i++)
    {
        chr = *(str+i);
        if( (chr&0x80) != 0 )        // 判断是否ASCII编码,如果不是,说明有可能是UTF-8,ASCII用7位编码,但用一个字节存,最高位标记为0,o0xxxxxxx
            bAllAscii = false;
        if(nBytes == 0)                //如果不是ASCII码,应该是多字节符,计算字节数
        {
            if(chr >= 0x80)
            {
                if(chr >= 0xFC && chr <= 0xFD)
                    nBytes = 6;
                else if(chr >= 0xF8)
                    nBytes = 5;
                else if(chr >= 0xF0)
                    nBytes = 4;
                else if(chr >= 0xE0)
                    nBytes = 3;
                else if(chr >= 0xC0)
                    nBytes = 2;
                else
                {
                    return false;
                }
                nBytes--;
            }
        }
        else //多字节符的非首字节,应为10xxxxxx
        {
            if( (chr&0xC0) != 0x80 )
            {
                return false;
            }
            nBytes--;
        }
    }
    if( nBytes > 0 ) //违返规则
    {
        return false;
    }
    if( bAllAscii ) //如果全部都是ASCII, 说明不是UTF-8
    {
        return false;
    }
    return true;
}

③windows自带的IsTextUnicode函数，是不靠谱的，如果只是估计那当然没问题了。