理论汇总

1 多任务学习 

（1）多任务学习在推荐算法中的应用

2 attention机制

（1）Attention机制在深度学习推荐算法中的应用

AFM、 阿里DIN、阿里DIEN、阿里DSIN、阿里DSTM、ATRank

3 强化学习

（1）强化学习在推荐算法的应用论文整理（一）

4 bert相关

  https://github.com/thunlp/PLMpapers

从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史

（1）BERT、RoBERTa、DistilBERT与XLNet，我们到底该如何选择？

（2）Google]BERT压缩到7MB！最新基于最优子词和共享投影的极限语言压缩模型

（3）BERT 的演进和应用

（4）Bert时代的创新：Bert应用模式比较及其它

（5）BERT 瘦身之路：Distillation，Quantization，Pruning

（6）Bert 改进： 如何融入知识

（7）TinyBERT：模型小7倍，速度快8倍，华中科大、华为出品

（8）BERT系列文章汇总导读

5 知识蒸馏

一文总览知识蒸馏概述