SIGIR2019|利用DeepSHAP来解释神经检索模型(已开源)
A study on the Interpretability of Neural Retrieval Models using DeepSHAP
Zeon Trevor Fernando, Jaspreet Singh, Avishek Anand
L3S Research Center
http://delivery.acm.org/10.1145/3340000/3331312/p1005-fernando.pdf
https://arxiv.org/pdf/1907.06484.pdf
在信息检索领域中，最近有一个趋势，即利用神经网络来学习检索模型，进而用于基于文本的即席搜索。虽然很多方法和结构都比传统的检索模型，如BM25，效果具有显著提升，但是，针对这些方法和结构，如何准确的理解某个检索词和某个文本为何相关仍然较难。
在机器学习领域中，目前学者们已经提出多种用来解释深度神经网络所做决策的方法，比如DeepSHAP，该方法对DeepLift进行了改造，进而用于估计特定决策中输入特征的相对重要性（沙普利值）。主要是通过对比特定图像中网络的激活函数和加入某个参考输入之后的激活函数。
在图像分类中，参考输入通常是纯黑白图像。DeepSHAP在图像分类任务中研究的比较完善，但是，如何对其进行某种处理进而能够比较好的解释神经检索模型(NRMs)的输出有待探索。
在信息检索中，什么才是比较好的"黑白"图像？这篇文章探索了多种参考输入文档构建方法。作者们将DeepSHAP的解释跟LIME( local interpretable model-agnostic explanations，一种模型不可知论方法)的解释作对比，发现二者的解释不同，这也是意料之中的。
LIME 相关论文及代码
“Why Should I Trust You?” Explaining the Predictions of Any Classifier
KDD 2016
https://arxiv.org/pdf/1602.04938.pdf
https://github.com/marcotcr/lime
本文的研究引起了对NRMs所得解释的鲁棒性和准确性的关注。
在信息检索领域中，虽然一些基于深度学习的方法取得了很好的效果，但是其解释性不太好把握
作者们研究的方法基于沙普列值
主要有以下两种方法来解释模型
本文主要讨论DeepSHAP
这篇文章考虑的几种参考输入如下
几种对比的模型简介如下
几种方法的对比图示如下
结果表明QL或者OOV效果较好
召回率对比如下
几种模型的MSE和ACC对比如下
实验结果个案示例如下
代码地址
https://github.com/slundberg/shap
https://github.com/marcotcr/lime
https://github.com/NTMC-Community/MatchZoo/tree/1.0
相关论文
A Deep Relevance Matching Model for Ad-hoc Retrieval
CIKM 2016
Text Matching As Image Recognition
AAAI 2016
Deep Relevance Ranking Using Enhanced Document-Query Interactions
EMNLP 2018
我是分割线
您可能感兴趣
SIGIR2019|胶囊网络来解释你喜欢什么不喜欢什么(已开源)
KDD2018|基于GBM的动态定价回归模型
KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)
RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET
SIGIR2018|选择性GBDT(SelGB)用于排序学习(已开源)
AAAI2018|斯坦福大学提出并开源增强生成式模型
ijcai2017|CTR经典模型DeepFM,FNN,PNN,W&D,LR,FM对比(哈工大诺亚方舟提出CTR模型)
ICML2019|一种基于强化学习的推荐系统(GAN用户模型,佐治亚理工学院联合蚂蚁金服提出且已开源)
ICML2018|GBDT中如何寻找影响较大样本(普林斯顿大学联合Yandex提出并开源)
IJCAI2019|基于对抗变分自编码的协同过滤框架VAEGAN
聊聊CatBoost
聊聊XGBoost CatBoost LightGBM RF GBDT
IJCAI2019|新型特征增广GBDT--AugBoost(已开源)
IJCAI2019|清华大学提出并开源新型梯度提升决策树(梯度提升分段线性回归树)
新型梯度提升决策树GBDT-SPARSE(谷歌微软FaceBook加州大学联合提出)
ICML2019|深度学习鼻祖之一Bengio提出并开源图马尔科夫神经网络
GBDT,LR,深度学习如何联合发力(以推荐系统和游戏为例)
大规模GBDT系统应用场景及效果对比(LightGBM,XgBoost,DimBoost等)
新型在线预测模型DeepGBM(基于GBDT扩展的深度学习框架)
顶会中深度学习用于CTR预估的论文及代码集锦 (3)
NIPS2018深度学习(9)|亮点：多元卷积稀疏编码、循环关系网络
ICML 2018 深度学习论文及代码集锦(5)
深度学习用于文本摘要的论文及代码集锦
深度学习用于机器翻译的论文及代码集锦
深度学习用于序列标注中的论文及代码集锦
深度学习在推荐系统中的应用及代码集锦(4)
深度学习在OCR中的应用论文及代码集锦 (2)