文本相似度实战(kaggle)

Kaggle:Quora Question Pairs:https://blog.csdn.net/sinat_33741547/article/details/80655906

Quora Question Pairs 竞赛冠军经验分享:采用 4 层堆叠,经典模型比较给力 :https://www.sohu.com/a/223771528_114877

https://www.kaggle.com/amoyyean/lstm-with-glove

https://github.com/tim5go/quora-question-pairs/blob/master/LSTM.py

https://blog.csdn.net/Catherine_985/article/details/80816138


https://blog.csdn.net/Catherine_985/article/details/80816138内容如下:

今天来复盘一下9个月前的Kaggle: Quora Question Pairs, 也算是对文本相似性工作的一点总结,Quora赛题是我接触数据竞赛的第一次比赛,正值大四的下学期开学,在实验室做一些NLP方面的横向课题,学弟找我来说要不要玩比赛,我们就把当时kaggle上当时的比赛罗列了一下,最后挑了这个NLP的赛题,当时对调参,特征工程,模型融合,pipeline没有深刻的理解。误打误撞的拿了银牌,现在让我再打一次的话,还是比较有信心冲击金区的。

这篇文章想发散开来讲,从传统方法到深度模型,结合赛题的数据特点对文本相似性匹配的方法做一个梳理。以及针对比赛中的技巧做一个总结。

Quora给的题就给定两个quora中的提问。提问数据是类似知乎上的提问标题,判断两个问题是不是一个问题。比如:A.如何学习NLP? B.怎样学习自然语言处理?这就明显是一个问题。这个题属于NLP中的文本相似性匹配,由于quora构建数据的方式存在图的特征,后来发现其图模型方面也值得研究。以下部分图片来自于Quora第四名YesOfCourse团队的ppt,在此注明版权。

文本相似度实战(kaggle)_第1张图片

文本相似性/相关性度量是NLP和信息检索中非常基础的任务,在搜索引擎,QA系统中有举足轻重的地位,一般的文本相似性匹配,从大的方法来讲,传统方法和深度学习方法。

特征工程方法

传统方法不外乎各种角度的特征工程,我把常用的特征罗列如下,比如

  • 编辑距离
编辑距离(Edit Distance),又称Levenshtein距离,是指两个字串之间,由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符,插入一个字符,删除一个字符。一般来说,编辑距离越小,两个串的相似度越大。
例如: 
我们有两个字符串: kitten 和 sitting: 
现在我们要将kitten转换成sitting 
我们可以做如下的一些操作;
k i t t e n –> s i t t e n 将K替换成S
sitten –> sittin 将 e 替换成i
sittin –> sitting 添加g
在这里我们设置每经过一次编辑,也就是变化(插入,删除,替换)我们花费的代价都是1。
FuzzyWuzzy这个python包提供了比较齐全的编辑距离度量方法。
  • 集合度量特征
集合度量方式就是把两个句子看成 BOW (bag of words)。然后使用集合相似性度量方法比如Jaccard等。这种方法有一个严重问题就是丢失语序。当然基于集合算重合度的度量方法不止Jaccard,也有很多别的,感兴趣的同学可以了解下。
  • 统计特征
比如句子长度,词长度,标点数量,标点种类,以及词性序列上的度量,这也是最直观的度量方法,大家可以发挥自己的想象力把这一部分做丰富一点
  • 使用预训练的词向量得到句子表示进行度量
词向量是深度学习进入NLP的非常代表性的工作,谷歌的词向量论文引用了3000+次,可谓影响深远了。
使用词向量的一种简单的方法是,BOW求平均,得到两个句子的表示,然后利用余弦相似度度量或者Minkowski,欧几里得距离等等。这是一种非常简单而直观的方法。
在比赛中我们这篇参考了论文, From Word Embeddings To Document Distances 这篇论文提出的一种叫做WMD的度量方法,七级本原理是利用word2vec的特性,将文本文档表示为一个weighted point cloud of embedded words。两个文档A和B之间的距离定义为A中所有的词移动精确匹配到文档B中点云的最小累积距离。这个思路也非常直觉,实际表现也非常良好‘
  • 使用传统方法如tfidf,LDA等topic model等拿到句子表示进行度量
对于LDA和tfidf的句子表示原理在此不做细讲,在实践中我们发现,使用tfidf值对词向量做一个加权,得到的句子表示也是一种不错的表示。

深度模型

深度模型有两种思路,一种是基于表示,一种是基于交互。不过基于交互的模型大多也是先要拿到文本表示,从文本表示构建交互,从交互到特征抽取的思路。其基本的模型如下所示

文本相似度实战(kaggle)_第2张图片

这是一个非常直观的思路,最后一层的matching score建模方法甚至可以用一个简单的FC代替,或者做一次element-wise 乘之后接FC。下面有在IR中用表示方法做这个问题的几篇论文。

  • DSSM: LearningDeep Structured Semantic Models for
  • WebSearchusing Click-through Data (Huanget al., CIKM’13)
  • CDSSM: Alatentsemanticmodelwith convolutional- poolingstructureforinformationretrieval (ShenY,HeX, Gao J,etal.CIKM’14)
  • ARC I: ConvolutionalNeural NetworkArchitecturesfor MatchingNaturalLanguageSentences(Huet al., NIPS’14)
  • LSTM-RNN:Deep Sentence Embedding Using the Long Short Term MemoryNetwork:Analysis and Application toInformation Retrieval (Palangietal.,TASLP’2016)

基于交互的方法是通过Interaction来对文本相似性建模,其模型基本的原理是。

文本相似度实战(kaggle)_第3张图片

有一篇非常有意思的文章Text Matching as Image Recognition. (Liang Pang, Yanyan Lan, Jiafeng Guo, Jun Xu, and Xueqi Cheng. AAAI 2016)这也是庞亮学长在AAAI 2016上的工作,所以他们打这个比赛,完全就是把中科院的模型拉出来遛遛。这个模型也很直觉,就是把两个文本的相似性建模成一张图片,再用CNN做特征抽取器。

文本相似度实战(kaggle)_第4张图片

  • 拿到每个词的embedding。 (embedding)
  • 构建两个文本的相似矩阵。 (Interaction)
  • 把相似矩阵放入两层CNN中。 (Feature extract)
  • 把CNN的结果放入两层的全连接中。 (FC)
  • 获得二分类的score。 (distribution)

后来的一些工作都大同小异,比如不直接使用词向量,利用RNN的隐层向量去构建交互等等。具体的文章如下,感兴趣的同学可以看一下。

  • DeepMatch: A Deep Architecture for Matching Short Texts (Lu and Li, NIPS’13)
    ARC II: Convolutional Neural Network Architectures for Matching Natural Language Sentences (Hu et al., NIPS’14)
  • MatchPyramid: Text Matching as Image Recognition. (Liang Pang, Yanyan Lan, Jiafeng Guo, Jun Xu, and Xueqi Cheng. AAAI 2016)
  • Match-SRNN: Modeling the Recursive Matching Structure with Spatial RNN. (Shengxian Wan, Yanyan Lan, Jiafeng Guo, Jun Xu, and Xueqi Cheng. IJCAI 2016)

下面回到这个比赛中,具体结合数据谈一谈。

在比赛中发现,训练集和测试集的正负样本比有明显差异,分布上的差异最后体现在logloss指标上的gap,在比赛中大家推导出一个后处理的公式,然后可以拉平分布带来的分数异动。使用贝叶斯公司能推导出这个后处理,前提是可以测出分布的情况下。有论文对这个做了详细的讲解。"Adjusting the Outputs of a Classifier to New a Priori Probabilities: A Simple Procedure"https://pdfs.semanticscholar.org/d6d2/2681ee7e40a1817d03c730d5c2098ef031ae.pdf

比赛中一些预处理方法有

  • 词元化/词干花
  • 停止词删除
  • 标点符号清洗
  • 特殊符号替换
  • 词向量扩充句子得到另一份句子(这个直觉的思路是,利用词向量找相关词的特性,增加传统特征方法的容错性。比如集合度量方法,开心和高兴虽然是一个意思,但是不扩充近义词的话,其容错性很低)

不得不提的是,这个比赛中有一个非常关键的leak信息。一个问题如果出现频繁的话,就很可能是一个重复的问题。后来发现前几名在这个leak上做了很多文章,取得了非常好的效果。后来CPMP给的解释是:

A question that is asked often has more chances to be redundant. Thanks for sharing.

以第一名的解法为例,他的特征工程中含有大量的来自图的Structural features 。我感觉这部分也是最关键的。

https://www.kaggle.com/c/quora-question-pairs/discussion/34355第一名的解法有300多个模型做了stacking。简直爆炸。

第四名HouJP学长的,https://www.kaggle.com/c/quora-question-pairs/discussion/34349,亮点就是深度模型的分数很高,不愧是中科院IR大佬。

第五名的解法也是在图的建模上挖掘了大量的特征。

第七名亮点就是这个人比较懒,花了大量的时间在深度模型上。和第一名都用了一个叫 decomposable attention 的东西。https://www.kaggle.com/c/quora-question-pairs/discussion/34697

后来总结一下这个赛题,由于基于图的特征的存在,使得这部分的特征工程尤为重要,这也是我们做的不好的地方。前几名在图上都做了充分的挖掘,体现了强大的特征工程能力。不过这部分东西,单纯的文本相似性/相关性的工作没什么贡献,如果抱着研究目的的同学可以忽略这部分。

HouJP和庞亮学长把他们的方案开源了,链接如下:https://github.com/HouJP/kaggle-quora-question-pairs。他们的自动化框架很厉害,值得学习。

我们也把代码开源了,不过在大佬面前就是班门弄斧了:https://github.com/SpongebBob/Quora-Kaggle

由于这是我参加的第一次比赛,所以印象十分深刻。学到了一些对比赛使用的流程性的东西,体会到pipeline的重要性,不过教训也很多,也算一种成长吧。

你可能感兴趣的:(项目实战)