CCF-BDCI互联网新闻情感分析(bert-base,线上0.79)
今天来讲一讲怎么用bert做文本分类，比赛是今年的CCF-BDCI
https://www.datafountain.cn/competitions/350
第一次接触bert，比较菜，线上macro_f1得分0.79：
附上代码和数据集，数据集是tsv格式，我做了一些预处理，保存在data文件夹下面，验证集是从原训练集中按0.1的比例划分出来的。测试集test是没有标签的，想跑线下可以用train_test_split自己划分测试集：
链接：https://pan.baidu.com/s/1o44-3cAPcSXS8k4zA5A0pw
提取码：kvkl
配置要求
很多人使用bert的时候都会担心配置要求，其实正常的内存和cpu就是可以跑的，数据集精简一下也不会太慢，我8G内存I7，跑batch_size=1,max_seq_length=32的1/10数据集20分钟就跑完了。
怎么用bert
其实bert的使用非常简单，首先下载一下中文bert的模型：
https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip
如果你做的不是中文的或者想跑bert-large，这篇博文有下载地址：
https://blog.csdn.net/foxcow2012/article/details/87856557
然后去下载一下google的开源代码：
https://github.com/google-research/bert
文件结构
先来看看bert模型本身的文件结构(chinese_L-12_H-768_A-12文件夹)，不妨称之为模型文件夹。
1.bert_config是bert的配置文件，这个不用改，后面运行的时候可以通过参数调整。
2.ckpt文件就是bert的模型
3.vocab.txt是bert的词汇表。打开会发现中文bert的词汇表都是单字的，这当然不如用词汇效果好。据说哈工大发布过一版词汇的，我没用过，可以去搜搜看。
把这个文件夹(chinese_L-12_H-768_A-12)放到刚刚的另一个文件夹(很多文件那个)里面，我们会通过那个文件夹的代码调用chinese_L-12_H-768_A-12里的模型和文件。不妨称之为接口文件夹。
因为我们做的是分类任务，接口文件夹里比较重要的是这个：
所以我们也需要修改的也只有这个文件夹。
修改代码
参考的这篇博文：
https://blog.csdn.net/clnjust/article/details/100514231
1.再run_classifier.py中添加一个类，这个类就用来执行我们自定义的分类任务：
class MyTaskProcessor(DataProcessor):
"""Processor for my task-news classification """
def __init__(self):
self.labels = ['0.0', '1.0', '2.0']
def get_train_examples(self, data_dir):
return self._create_examples(
self._read_tsv(os.path.join(data_dir, 'train.tsv')), 'train')
def get_dev_examples(self, data_dir):
return self._create_examples(
self._read_tsv(os.path.join(data_dir, 'val.tsv')), 'val')
def get_test_examples(self, data_dir):
return self._create_examples(
self._read_tsv(os.path.join(data_dir, 'test.tsv')), 'test')
def get_labels(self):
return self.labels
def _create_examples(self, lines, set_type):
"""create examples for the training and val sets"""
examples = []
for (i, line) in enumerate(lines):
guid = '%s-%s' %(set_type, i)
text_a = tokenization.convert_to_unicode(line[1])
label = tokenization.convert_to_unicode(line[0])
examples.append(InputExample(guid=guid, text_a=text_a, label=label))
return examples
注意代码第4行是写任务的标签，是以字符串的形式读取的，我的数据文件里标签是0.0,1.0,2.0，你的是0,1,2就改成self.labels = [‘0’, ‘1’, ‘2’]，因为是字符串类型读取，0.0≠0！
这个文件里会有一些配置变量，比如这段代码中的data_dir，会在运行时通过参数传入值。
2.然后在程序入口main里做一下修改，把我们的任务加进去：
def main(_):
tf.logging.set_verbosity(tf.logging.INFO)
processors = {
"cola": ColaProcessor,
"mnli": MnliProcessor,
"mrpc": MrpcProcessor,
"xnli": XnliProcessor,
"mytask": MyTaskProcessor,
}
数据集文件
我是在根目录(接口文件夹)下面新建了一个data文件夹来保存，这样待会儿写参数的时候比较好写：
运行
直接在cmd里用命令行运行，cd进根目录，我这个就是E:\python\bert\bert-masterContent,
1.训练命令：
python run_classifier.py --task_name=mytask --do_train=true --do_eval=true --data_dir=data --vocab_file=chinese_L-12_H-768_A-12\vocab.txt --bert_config_file=chinese_L-12_H-768_A-12\bert_config.json --init_checkpoint=chinese_L-12_H-768_A-12\bert_model.ckpt --max_seq_length=128 --train_batch_size=32 --learning_rate=1e-5 --num_train_epochs=3.0 --output_dir=output
task_name是main函数里的任务名(是前面的key)；do_train就是是否做训练；do_eval是是否做验证，要求有验证集，做的话训练结束之后会在output目录下生成一个预测文件(eval_results.txt)，长这样：
data_dir就是你存放数据集文件的文件夹；vocab_file、bert_config_file、init_checkpoint就都是之前说的对bert模型的几个文件的调用路径；max_seq_length是最大句长，就是一句话最多多少个字，batch_size就是一批几条文本；learning_rate是学习率，我在上一篇博文中详细说过；num_train_epochs就是迭代次数；output_dir即输出到哪个文件夹下面，我是输出到output文件夹下面。
2.测试命令：
python run_classifier.py --task_name=mytask --do_predict=true --data_dir=data --vocab_file=chinese_L-12_H-768_A-12\vocab.txt --bert_config_file=chinese_L-12_H-768_A-12\bert_config.json --init_checkpoint=output --max_seq_length=128 --output_dir=output
参数和上面差不多，我就不详细讲解了。生成的输出文件会是m*n的浮点数组，m是测试集文本数，n是分类的类数。第i行第j列的数据表示第i条文本属于第j类的概率。
输出文件叫test_results.tsv，长这样：
没错，其实就是带参数的运行一下run_classifier.py。这里值得注意的是linux环境目录间的分隔符是/，而windows环境是\。
训练的时候控制台是这样的：
如果你想一次执行掉训练和预测可以写批处理文件，windows是.bat，linux是.sh。
内存不够就把max_seq_length和batch_size调小。