Bert在文本分类任务重如何进行 fine-tuning

1. 前言

文本分类是个经典的NLP任务。随着预训练语言模型的大受欢迎，诸如Bert等预训练语言模型在文本分类任务上也有这十分出色的表现。这篇文章并没有什么高深的tricks，只是最传统的方式的简单介绍。
由于Bert本身并不会直接输出文本类别，因此需要对模型进行稍加改造，一般是Bert+Linear再通过softmax获取最终的类别分布，因此就涉及到一些Bert部分的微调和Linear部分的训练工作，本文接介绍一些用Bert做文本分类任务时的一些常用模型训练技巧。

2. 关于Bert

关于Bert有几个关键信息需要了解。
Bert是有Transformers的encoder部分构成的，包含多个encoder block的堆叠。Bert的输入是一个不超过512个tokens的序列，输出是这个序列的表征，中间层的hidden_size为768。在文本分类中，Bert一般用最后一层的[CLS]作为整个句子的表征，再加个线性变换最终softmax成分别的分布。

3. 训练

训练一般有3种方式。
【1】Bert 直接在特定任务上做训练
【2】Bert在特定任务上进一步pre-train，再在有label数据上做训练。
【3】Bert在进一步pre-train之后，在multi-task fine-tuning，再在有label的数据上做训练。

3.1 Bert 直接在特定任务上做训练

这一步是最基础和关键的。在这里我们需要学习率的选择。常用的方式是不同的层采用不同的学习率进行梯度更新。
$${\theta }_t^l={\theta }_{t-1}^l-{\eta }^l\cdot {▽}_{{\theta }^l}J(\theta ),$$
其中${\eta }^l$表示的是第l层的学习率，我们首先设置一个初始学习率${\eta }^L$，然后用如下策略$\eta^{k-1} = \xi \cdot \eta^k $进行学习率的调整，其中$\xi < 1$，当然也可以等于1。

3.2 Bert在特定任务上进一步pre-train，再在有label数据上做训练。

由于在做文本分类任务时，往往是对特定领域的内容做分类，例如医学文本，商品评价等等。因此我们可以用这个特定文本进行进一步的预训练，得到一个新的Bert。这一部分参考Bert的训练过程即可。

3.3 Bert在进一步pre-train之后，在multi-task fine-tuning，再在有label的数据上做训练。

Multi-task learning 也是一种十分有效的提升训练效果的方式。

---

当然模型训练还有很多其他的tricks可以借鉴，譬如对抗训练、r-drop等等。本文暂时对Bert用于文本分类的初学者做个简单介绍。后边的trick再慢慢补充。。。