论文笔记 arxiv 2019|DocBERT: BERT for Document Classification

1 简介

论文题目：DocBERT: BERT for Document Classification
论文来源：arxiv 2019
论文链接：https://arxiv.org/pdf/1904.08398.pdf
代码链接：https://github.com/castorini/hedwig

1.1 创新

• 第一个将BERT用于文档分类，达到SOAT效果。
• 使用知识蒸馏(参考链接)，将$BER{T}_{large}$转换为较少参数的双向LSTM，可以达到和$BER{T}_{base}$相同水平的性能。

2 方法

使用BERT最后一层的[CLS]向量进行分类，同时使用知识蒸馏将$BER{T}_{large}$转换为较少参数的双向LSTM，蒸馏的目标是最小化p(学生模型的类别概率)和q(教师模型的类别概率)的kl散度。

3 实验

进行实验的数据集统计如下：

实验结果如下：

蒸馏后在验证集上的时间效率对比如下：

在验证集上参数的数量与预测的质量的变化，如下图