csv 文件编码格式的判断

1. 现状

• 后端接收到前端上传的文件
• 文件编码格式？
• 我 ？？？

file = request.files["file"].read()

2. 可能接收的格式？

• 1. 打开文件

     
     
     

     dakaiwenjian

• 2. 点击文件选项卡的另存为按钮

     
     
     

     lingcunwei

• 3. 查看可选编码格式

     
     
     

     chakan

3. 解决现状

def string_encoding(data: bytes):
    """
    获取字符编码类型
    :param data: 字节数据
    :return:
    """
    UTF_8_BOM = b'\xef\xbb\xbf'
    CODES = ['UTF-8', 'GB18030', 'BIG5']
    # 遍历编码类型
    for code in CODES:
        try:
            data.decode(encoding=code)
            if 'UTF-8' == code and data.startswith(UTF_8_BOM):
                return 'UTF-8-SIG'
            return code
        except UnicodeDecodeError:
            continue
    return 'unknown'


file = request.files["test"].read()
format = string_encoding(file)
# 通过返回的编码格式做不同处理
if format == "GB18030":
    file = file.decode("gbk")
elif format == "UTF-8-SIG":
    file = file.decode("utf-8")

• 不同编码格式的字节内容

GB18030 编码文件字节内容
b'\xd3\xce\xcf\xb7\xc3\xfb\xb3\xc6,\xb9\xe3\xb8\xe6\xc3\xfb\xb3\xc6,\xca\xb1\xbc\xe4,\xbc\xc6\xb7\xd1\xb7\xbd\xca\xbd,\xb7\xb5\xc7\xb0\xcf\xfb\xba\xc4\r\n\xcd\xf2\xb9\xfa\xbe\xf5\xd0\xd1,RoC_And_T1_FR,2018-10-12,\xbc\xa4\xbb\xee,1000'

UTF-8-SIG 编码文件字节内容
b'\xef\xbb\xbf\xe6\xb8\xb8\xe6\x88\x8f\xe5\x90\x8d\xe7\xa7\xb0,\xe5\xb9\xbf\xe5\x91\x8a\xe5\x90\x8d\xe7\xa7\xb0,\xe6\x97\xb6\xe9\x97\xb4,\xe8\xae\xa1\xe8\xb4\xb9\xe6\x96\xb9\xe5\xbc\x8f,\xe8\xbf\x94\xe5\x89\x8d\xe6\xb6\x88\xe8\x80\x97\r\n\xe4\xb8\x87\xe5\x9b\xbd\xe8\xa7\x89\xe9\x86\x92,RoC_And_T1_FR,2018-10-12,\xe6\xbf\x80\xe6\xb4\xbb,1000'

• 拓展
• UTF-8以字节为编码单元，它的字节顺序在所有系统中都是一様的，没有字节序的问题，也因此它实际上并不需要BOM(“ByteOrder Mark”), 但是UTF-8 with BOM即utf-8-sig需要提供BOM（"ByteOrder Mark"）。
• 在windows上使用open打开utf-8编码的txt文件时开头会有一个多余的字符
  它叫BOM,是用来声明编码等信息的
• 为什么windows的记事本要强行给utf8加bom的原因——为了兼容旧系统的编码问题，unix阵营放弃带bom的utf8——为了让它们的上古程序能继续运行下去，这个各自有自己利益诉求的差异决定其实并不对错
• python3.5之后可以对参数指定类型