2019-08-04 BERT专题

4篇SIGIR短文

[1] [SIGIR19] BERT with History Answer Embedding for Conversational Question Answering
[2] [SIGIR19] CEDR Contextualized Embeddings for Document Ranking
[3] [SIGIR19] Deeper Text Understanding for IR with Contextual Neural Language Modeling
[4] [SIGIR19] FAQ Retrieval using Query-Question Similarity and BERT-Based Query-Answer Relevance

• 都是利用BERT做两个句子相关度计算
• [1] 在原始BERT的Embedding处理的基础上加了一个History Answer Encoder（HAE），用来表示这个词语是否在答案中出现过
• 然后就都没有别的什么与BERT相关的花样了

BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer

• 直接把BERT用到推荐系统
• 把预测mask和预测下一个一起做

[IJCAI19] Story Ending Prediction by Transferable BERT

• 这篇是用BERT预测故事的结局

• 具体分3步走，第一步用原始训练BERT的方式预训练BERT，第二步同时用3个语言任务来继续训练BERT，最后是训练需要的预测任务

  
  
  3步多任务学习

[ACL19-workshop] A Simple but Effective Method to Incorporate Multi-turn Context with BERT for Conversational Machine Comprehension

• 用BERT做多轮对话

• 方法就是把当前问题、历史问题、历史答案都用一个BERT模型建模得到基于上下文的表示，然后全部拼到一起，再用两层GRU得到回答的开始和结束位置

  
  
  模型图

[ACL19] Multi-Task Deep Neural Networks for Natural Language Understanding

• 用BERT做多任务学习，同时训练多个语言方面的任务

  
  
  模型图

总结

• 除了SIGIR[1]那边给BERT模型增加了一个HAE，还没有看到有文章改了BERT结构的
• 大部分文章也就是在直接用BERT模型完成各种不同的任务，就像以前是用RNN、CNN、Attention之类的，不过现在改成用BERT了，而且大多也能做预训练和多任务学习