Kaggle:Quora Question Pairs:https://blog.csdn.net/sinat_33741547/article/details/80655906
Quora Question Pairs 竞赛冠军经验分享:采用 4 层堆叠,经典模型比较给力 :https://www.sohu.com/a/223771528_114877
https://www.kaggle.com/amoyyean/lstm-with-glove
https://github.com/tim5go/quora-question-pairs/blob/master/LSTM.py
https://blog.csdn.net/Catherine_985/article/details/80816138
https://blog.csdn.net/Catherine_985/article/details/80816138内容如下:
今天来复盘一下9个月前的Kaggle: Quora Question Pairs, 也算是对文本相似性工作的一点总结,Quora赛题是我接触数据竞赛的第一次比赛,正值大四的下学期开学,在实验室做一些NLP方面的横向课题,学弟找我来说要不要玩比赛,我们就把当时kaggle上当时的比赛罗列了一下,最后挑了这个NLP的赛题,当时对调参,特征工程,模型融合,pipeline没有深刻的理解。误打误撞的拿了银牌,现在让我再打一次的话,还是比较有信心冲击金区的。
这篇文章想发散开来讲,从传统方法到深度模型,结合赛题的数据特点对文本相似性匹配的方法做一个梳理。以及针对比赛中的技巧做一个总结。
Quora给的题就给定两个quora中的提问。提问数据是类似知乎上的提问标题,判断两个问题是不是一个问题。比如:A.如何学习NLP? B.怎样学习自然语言处理?这就明显是一个问题。这个题属于NLP中的文本相似性匹配,由于quora构建数据的方式存在图的特征,后来发现其图模型方面也值得研究。以下部分图片来自于Quora第四名YesOfCourse团队的ppt,在此注明版权。
文本相似性/相关性度量是NLP和信息检索中非常基础的任务,在搜索引擎,QA系统中有举足轻重的地位,一般的文本相似性匹配,从大的方法来讲,传统方法和深度学习方法。
传统方法不外乎各种角度的特征工程,我把常用的特征罗列如下,比如
编辑距离(Edit Distance),又称Levenshtein距离,是指两个字串之间,由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符,插入一个字符,删除一个字符。一般来说,编辑距离越小,两个串的相似度越大。
例如:
我们有两个字符串: kitten 和 sitting:
现在我们要将kitten转换成sitting
我们可以做如下的一些操作;
k i t t e n –> s i t t e n 将K替换成S
sitten –> sittin 将 e 替换成i
sittin –> sitting 添加g
在这里我们设置每经过一次编辑,也就是变化(插入,删除,替换)我们花费的代价都是1。
FuzzyWuzzy这个python包提供了比较齐全的编辑距离度量方法。
集合度量方式就是把两个句子看成 BOW (bag of words)。然后使用集合相似性度量方法比如Jaccard等。这种方法有一个严重问题就是丢失语序。当然基于集合算重合度的度量方法不止Jaccard,也有很多别的,感兴趣的同学可以了解下。
比如句子长度,词长度,标点数量,标点种类,以及词性序列上的度量,这也是最直观的度量方法,大家可以发挥自己的想象力把这一部分做丰富一点
词向量是深度学习进入NLP的非常代表性的工作,谷歌的词向量论文引用了3000+次,可谓影响深远了。
使用词向量的一种简单的方法是,BOW求平均,得到两个句子的表示,然后利用余弦相似度度量或者Minkowski,欧几里得距离等等。这是一种非常简单而直观的方法。
在比赛中我们这篇参考了论文, From Word Embeddings To Document Distances 这篇论文提出的一种叫做WMD的度量方法,七级本原理是利用word2vec的特性,将文本文档表示为一个weighted point cloud of embedded words。两个文档A和B之间的距离定义为A中所有的词移动精确匹配到文档B中点云的最小累积距离。这个思路也非常直觉,实际表现也非常良好‘
对于LDA和tfidf的句子表示原理在此不做细讲,在实践中我们发现,使用tfidf值对词向量做一个加权,得到的句子表示也是一种不错的表示。
深度模型有两种思路,一种是基于表示,一种是基于交互。不过基于交互的模型大多也是先要拿到文本表示,从文本表示构建交互,从交互到特征抽取的思路。其基本的模型如下所示
这是一个非常直观的思路,最后一层的matching score建模方法甚至可以用一个简单的FC代替,或者做一次element-wise 乘之后接FC。下面有在IR中用表示方法做这个问题的几篇论文。
基于交互的方法是通过Interaction来对文本相似性建模,其模型基本的原理是。
有一篇非常有意思的文章Text Matching as Image Recognition. (Liang Pang, Yanyan Lan, Jiafeng Guo, Jun Xu, and Xueqi Cheng. AAAI 2016)这也是庞亮学长在AAAI 2016上的工作,所以他们打这个比赛,完全就是把中科院的模型拉出来遛遛。这个模型也很直觉,就是把两个文本的相似性建模成一张图片,再用CNN做特征抽取器。
后来的一些工作都大同小异,比如不直接使用词向量,利用RNN的隐层向量去构建交互等等。具体的文章如下,感兴趣的同学可以看一下。
下面回到这个比赛中,具体结合数据谈一谈。
在比赛中发现,训练集和测试集的正负样本比有明显差异,分布上的差异最后体现在logloss指标上的gap,在比赛中大家推导出一个后处理的公式,然后可以拉平分布带来的分数异动。使用贝叶斯公司能推导出这个后处理,前提是可以测出分布的情况下。有论文对这个做了详细的讲解。"Adjusting the Outputs of a Classifier to New a Priori Probabilities: A Simple Procedure"https://pdfs.semanticscholar.org/d6d2/2681ee7e40a1817d03c730d5c2098ef031ae.pdf
比赛中一些预处理方法有
不得不提的是,这个比赛中有一个非常关键的leak信息。一个问题如果出现频繁的话,就很可能是一个重复的问题。后来发现前几名在这个leak上做了很多文章,取得了非常好的效果。后来CPMP给的解释是:
A question that is asked often has more chances to be redundant. Thanks for sharing.
以第一名的解法为例,他的特征工程中含有大量的来自图的Structural features 。我感觉这部分也是最关键的。
https://www.kaggle.com/c/quora-question-pairs/discussion/34355第一名的解法有300多个模型做了stacking。简直爆炸。
第四名HouJP学长的,https://www.kaggle.com/c/quora-question-pairs/discussion/34349,亮点就是深度模型的分数很高,不愧是中科院IR大佬。
第五名的解法也是在图的建模上挖掘了大量的特征。
第七名亮点就是这个人比较懒,花了大量的时间在深度模型上。和第一名都用了一个叫 decomposable attention 的东西。https://www.kaggle.com/c/quora-question-pairs/discussion/34697
后来总结一下这个赛题,由于基于图的特征的存在,使得这部分的特征工程尤为重要,这也是我们做的不好的地方。前几名在图上都做了充分的挖掘,体现了强大的特征工程能力。不过这部分东西,单纯的文本相似性/相关性的工作没什么贡献,如果抱着研究目的的同学可以忽略这部分。
HouJP和庞亮学长把他们的方案开源了,链接如下:https://github.com/HouJP/kaggle-quora-question-pairs。他们的自动化框架很厉害,值得学习。
我们也把代码开源了,不过在大佬面前就是班门弄斧了:https://github.com/SpongebBob/Quora-Kaggle
由于这是我参加的第一次比赛,所以印象十分深刻。学到了一些对比赛使用的流程性的东西,体会到pipeline的重要性,不过教训也很多,也算一种成长吧。