bert 字符编码报错

报错信息: UnicodeDecodeError: 'utf-8' codec can't decode byte 0xcd in position 9: invalid continuation byte

三份数据文件:train.tsv dev.tsv test.tsv 不是utf-8编码导致,在notepad++中转换为utf-8即可

你可能感兴趣的:(bert 字符编码报错)