自然语言处理——学习笔记（4）：NLP基础任务——文本分类&文本匹配

NLP基础任务

文本分类

1. 文本分类任务概述

   • 分类方法
     • 概率统计时代：特征工程+算法
     • 深度学习时代：自动获取特征（表示学习）端到端分类

2. 序列结构文本分类框架

   • 神经词袋模型
     

   • 卷积神经网络模型
     

   • 循环神经网络
     将文本序列看作时间序列，不断更新，最后得到整个序列的表示，这种表示中包含的是序列的顺序信息
     问题：RNN属于“biased model”，一个句子中越往后的词重要性越高，这有可能影响最后的分类结构，因为对句子分类影响最大的词可能处在句子的任何位置。

   • 循环+卷积神经网络

     • RNN擅长处理序列结构，能够考虑到句子的上下文信息
     • CNN属于无偏模型，能够通过最大池化获得最重要的特征
     • 结合二者优势生成上下文窗口信息的卷积网络

   • 注意力神经网络

     • 通过注意力机制对序列进行编码，最后得到序列的表示，这种包含的是词和词之间的关联关系

   • LSTM/CNN-GRU(篇章级-混合模型)

     • 篇章中所有句子的词向量矩阵作为输入
     • 用CNN/LSTM形成句子级向量表示
     • 由句向量用双向RNN形成每句的带有上下句子信息的句子表示
     • 由句向量形成篇章级向量表示
     • 用篇章级向量做分类

   • HAN(篇章级-Attention模型)

   • 基于预训练模型(Bert)：通过预训练模型形成句表示，然后将该句表示作为分类的输入

3. 图结构文本分类方法

   • 图卷积神经网络文本分类
     根据任务对原文本加入附加信息并构建原文本与附加信息的关系图（将附加信息的结构信息融入文本），然后利用图卷积的方法提取文本有效的特征表示

   • 步骤：

     • Graph构建
     • 文本Graph结点特征表示
     • 图卷积算法

   • 框架

   • 例子1：对文本进行图卷积分类

   • 例子2：短文本分类模型

     • 问题：短文本信息含量少，用一般神经网络提取特征效果有限

     • 解决：引入附加信息增强短文本信息然后采用图卷积方法提取有效特征

     • Graph构建

     • 文本Graph结点特征表示

     • 存在问题：结点异质，表示不同，如何构建结点表示？

     • 方法1：将所有异质结点特征连接，形成同质特征结点然后采用普通图卷积方法——无法区分不同信息之间的差异

     • 方法二：采用双重注意力机制（类型级+结点级）的异质图卷积方法

     • 对于每个与V相邻的结点不但考虑了其类型的权重，还考虑了同一类型中各结点的权重

4. 文本分类评价指标

   • 二分类：准确率、精确率、召回率，F-Score
   • 多分类：准确率、宏平均、微平均（Macro-averaging赋予每个类相同的权重，Micro-averaging赋予每个样本决策相同的权重）

文本匹配

1. 文本匹配概述
   将研究两段文本间关系的问题定义为"文本匹配"问题
   • 复述识别：判断两段文本是不是表达了同样的语义
   • 解决：计算两个句子的相似度，建模成二分类问题
   • 文本蕴含识别：给定一个前提文本，根据这个前提去推断假说文本与文本的关系，关系有：蕴含关系，矛盾关系；一般建模成多分类问题
   • 问答：根据Question在段落或文档中查找Answer，这类场景常常会被建模成分类问题；还有一类是根据Question从若干候选中找出正确答案，这类场景常常会被建模成排位（ ranking ）问题
   • 对话：与QA 类似，但是比QA更复杂，由于引入了历史轮对话，需要考虑在历史轮的限制下回复是否合理。一般建模为分类或排位问题。
   • 信息检索：信息检索是一个更为复杂的任务，往往会有Query—Tittle，Query—Document的形式（Query可能是一个Document）检索需要计算相似度和排序一般建模为排位问题。
   • 匹配方法：
     • 规则方法：不同任务需要专门构建特征规则
     • 统计方法：特征工程+算法
     • 深度学习方法：
       • 基于单语义文档表达的深度学习模型（基于表示-孪生网络）（二范式）
         • 主要思路：首先将单个文本先表达成一个稠密向量（分布式表达）然后直接计算两个向量间的相似度作为文本间的匹配度
       • 基于多语义文档表达的深度学习模型（基于交互-交互聚合）（二范式）
         • 主要思路：需要建立多语义表达，更早地让两段文本进行交互，然后挖掘文本交互后的模式特征，综合得到文本间的匹配度
       • 基于预训练语言模型BERT的模型（三范式）
2. 文本匹配方法

   • 孪生网络
     
     

   • 交互聚合
     

   • 基于预训练语言模型