【多标签文本分类】《多粒度信息关系增强的多标签文本分类》
·阅读摘要：
提出一种多粒度的多标签文本分类方法。一共3个粒度：文档级分类模块、词级分类模块、标签约束性关系匹配辅助模块。
·参考文献：
[1] 多粒度信息关系增强的多标签文本分类
参考论文信息
论文名称：《多粒度信息关系增强的多标签文本分类》
发布期刊：《软件学报》
期刊信息：CSCD
评价：
1、由于文中模型的输入是文本序列+标签序列，所以文中所有模块都能和“利用标签嵌入”扯上关系；
2、文中有文档级全局分类、词级别分类，作者分别称之为浅层、深层；
3、文中第三个模块：标签约束性关系匹配辅助模块，介绍的很不清楚，而且我无法想通这个模块在模型验证、预测阶段要怎么办？？？
4、论文仍然有很多亮点：引言的写法；相关工作的写法让我眼前一亮；包括模型，抛开“标签约束性关系匹配辅助模块”，我觉得都我参考意义。
引言
介绍文本分类在自然语言处理中的重要性，并给出在医疗大数据和司法大数据领域中的具体应用。
现有分类算法的分类：介绍单标签分类算法和多标签分类算法，并说明多标签分类算法的应用场景。
多标签文本分类问题：说明直接将多标签问题拆分为多个单标签分类问题的缺陷。
基于深度学习的多标签文本分类：介绍使用深度神经网络进行多标签文本分类的方法，并指出其中存在的问题。
本文提出的方法：介绍本文提出的增强多维信息关系的多标签文本分类方法，包括文本-标签联合嵌入方法、多粒度学习模块、标签约束关系匹配辅助模块等。
实验结果：介绍在多个数据集上进行的实验结果，并说明本文方法在评估指标上取得了最佳结果。
结论：总结本文提出的方法的贡献，并指出未来研究的方向。
【注】比较好的是给出在医疗大数据和司法大数据领域中的具体应用，善于用举例。而且举例也和后面的数据集相契合。值得学习。
相关工作
研究重点主要分为文本特征表示学习和标签相关性学习两种类型。
【注】现在全网对多标签文本分类的相关工作都是：基于深度学习或者基于机器学习，其中基于机器学习算法的分类方法主要包括问题转换和算法自适应。本文给了不一样的视角，并且展开的都很好。
模型
文中模型可以大致分为这四个部分：
1. 文本-标签联合嵌入⭐
这属于共享层。文中以BERT的输入：第一个句子放要分类的文本，第二个句子放数据集所有的标签。这样训练出来的[CLS]理论上是文本与标签的混合表示。
与此同时，由于 BERT预训练时的任务为 NSP (next sentence prediction)和 MLM (masked language model), 故当嵌入形式为文本-标签联合嵌入时, [CLS]标记主要作用为判断由[SEP]标记分隔的两个部分是否存在前后文关系, 即输入文本序列与输入标签序列是否存在前后文关系。因此直接把[CLS]拿来分类效果并不占优。
所以在第一次分类时，提出了文档级分类模块。
2. 文档级信息浅层标签注意力 (DISLA) 分类模块
关于这个模块的名字，我们拆开来看：文档级信息 + 浅层 + 标签注意力 + 分类。
1、文档级信息：指的是它直接使用BERT的所有输出作为输入，进行多标签文本分类；
2、浅层：是一个形容词，没实际意义，主要是和图中我标注的第3个模块进行对比，一个浅层，另一个是深层；
3、标签注意力：BERT的输出中有标签信息，且DILA模块中有注意力机制，因此得名；
4、分类：先进行一次多标签文本分类。
此模块的结构比较简单，先一直堆空洞卷积层，完了进行多头注意力与卷积池化。
3. 词级信息深层标签注意力 (WIDLA)分类模块
关于这个模块的名字，我们拆开来看：词级信息 + 深层 + 标签注意力 + 分类。
此模块的结构比较好理解。标签与文本信息计算注意力权重，然后再乘回文本向量，最后分类。
4. 标签约束性关系匹配 (LCRM)辅助模块
这个模块的思想为：
1、对标签集中的N个标签，构建标签关联矩阵 M N ∗ N M_{N*N} MN∗N。 M i ∗ j M_{i*j} Mi∗j表示标签i与标签j在训练数据集中同时出现的次数。然后算出一个均值 M m e a n M_{mean} Mmean。
2、设置3个集合 A 、 B 、 C A、B、C A、B、C。
2.1、若标签y属于该文本，那么y落入A；
2.2、若标签y不属于该文本，但 M y > M m e a n M_{y} > M_{mean} My>Mmean，那么y落入B；
2.2、若标签y不属于该文本，但 M y < M m e a n M_{y} < M_{mean} My<Mmean，那么y落入C；
【注】论文往后的介绍部分很少，写的很模糊，可能我水平有限，看不懂……文中没有说训练过程，在模型验证与测试时，第4部分怎么办？？？第4部分的损失函数怎么计算，论文都没说。