自己的思路-套Bert-Chinese-Text-Classification-Pytorch-master语料处理流程

自己的思路-套Bert-Chinese-Text-Classification-Pytorch-master语料处理流程

• 把数据集按比例划分train(0.7)，test(0.15)和dev(0.15)

• 在excel里把train，test和dev使用=RAND(),打乱排序。

• 分类从0开始，不允许有负值。（当时报错提示“交叉熵要让目标值从0开始”）

• 转换成txt格式，编码要为“utf-8”

• 内容和格式的分隔符：要记得查看在在内容里是是否存在相同的分割符，如果存在相同的分隔符，需要处理掉（目的是防止程序识别错误，分割错误）

• 导入自己语料时，经常出现的错误。“超过所需要的值”，提示：去检查自己的内容和标签分割问题，检查语料。