本文介绍如何利用BERT fine-tuning一个文本情感分类模型。
0.准备工作
A、情感文本分类数据集下载。
链接:https://pan.baidu.com/s/1_DVJ-Tjq8V7tTZc80O-M7w 密码:7px1
这里是本人收集的新闻标题情感二分类(0代表积极，1代表消极)数据集，数据比例为train:dev:test=10000:3000:1000，正负比例1:1。
数据格式如下：
B、机器环境准备。
google/bert要求tensorflow版本>=1.11.0
本机环境配置如下：
cuda10
cudnn7.4.1
python==3.6.10
tensorflow-gpu==1.11.0
C、BERT中文模型下载
bert官网google/bert：https://github.com/google-research/bert
模型描述：Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads, 110M parameters
下载地址：https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip
将Zip文件解压,包含以下四个文件：
D、克隆google/bert代码，了解代码结构
git clone https://github.com/google-research/bert.git
代码结构如图，run.sh文件是我新建的，clone下来是没有。
可以看到，要用bert通过fine-tuning进行文本分类，仅需要改动run_classifier.py文件即可。run.sh是为了运行方便新建的脚本文件，可有可无。
2、修改部分代码，轻松实现文本分类
根据上一节说明，要用bert通过fine-tuning进行文本分类，仅需要改动run_classifier.py文件即可。
观察run_classifier.py的代码结构
如图，改动包括红框中的两部分，自定义数据处理类BinaryClassificationProcessor和修改函数main(_)。具体操作如下：
A、自定义数据处理类
我模仿xxxProcessor自定义了数据处理类BinaryClassificationProcessor，同样继承自DataProcessor.
自定义数据处理类结构如下：
如图，重写四个函数，分别是get_train_examples，get_dev_examples，get_test_examples和get_labels，其实就是告诉程序如何从输入数据集中读取训练数据、验证数据、测试数据和标签。
具体代码如下：
B、修改函数main(_)，将自定义数据处理类加入调用字典
如图，模仿其他数据处理类的处理方式，加入刚才自定义的数据处理类。（名字自定义即可）
3、运行fine-tuning文本分类
继续观察run_classifier.py，代码最底部：
如图，这些是必须设置的参数，data_dir即数据集所在目录(train.csv/test.csv/valid.csv所在的文件夹)，task_name即刚才自定义的数据处理类的别名‘bicl’，vocabs_file以及bert_config_file都包含在我们刚才在的bert中文模型中，output_dir即输入目录，即fine-tuning后的模型，以及预测结果文件等等的存储地址。
代码最顶部，还有其他一些参数，可视要求配置：
为了避免每次执行时重新定义参数，因此将运行指令写在run.sh文件中，如下：
运行命令：./run.sh（加权限chmod a+x run.sh）
参数do_train、do_eval、do_predict至少有一个是true。如果do_train=False，do_eval=False ,do_predict=True，代表只进行测试，不训练（即预测）。
4、运行结果分析
A、分析运行日志
tokens：按字分，前后加上特定的token[CLS]和[SEP]
input_ids：通过查字典，将每个token转为其对应的id，用末尾补全0的方式进行padding
input_mask：1代表该位置原本有token，0代表该位置原本没有token,用0进行padding
segment_ids：0代表第1句，1代表第2句，以此类推
上图，包括模型预训练参数载入、训练、模型保存、输出loss
上图，是fun-tuning后的bert模型在valid.csv（验证）数据集上的表现。
B、输出文件
根据run.sh的定义，进入输出目录：output_binary_classification
除了模型文件外，test_result.tsv中是模型对test.csv数据集的预测结果，结构如下，根据我们在自定义数据类中对label的读取定义，左侧数字代表分类结果为‘0’的概率，右侧为分类为‘1’的概率：
那么，如果想让输出的结果直接是类别信息呢，即将上面的概率信息再进行一次处理得到分类标签和准确率呢？很简单，继续改造run_classifier.py的main(_)函数即可。
核心就是仿照以上程序，获取概率值最大的类别的下标：
Indexindex=np.argmax(probabilities,axis=0)，再写入文件就好了。
5.总结
以上，就是Bert文本分类(fine-tuning)的基本内容，由此类推：
A、实现文本相似度计算
只需要改run_classifier.py的自定义数据类即可，读入信息包括text_a,text_b,label。
B、阅读理解
改文件run_squad.py
C、只用feature-based方式使用bert
如果不用fine-tunning,只用feature-based方式使用bert呢，需要修改文件extract_features.py
D、重新预训练bert模型
修改文件run_pretraining.py
再回头看一样bert的代码结构，就知道每个文件的作用了吧。