深度学习枕边书

                       /*本文可以随便转载，转载时请注明作者及文章出处*/

                                             作者：新浪微博  张俊林

      所谓“深度学习枕边书”，我的目的是希望能够找到初学者能够了解深度学习的最小知识集合，也就是介绍那些最重要必须要了解的技术点。目标一个方面是知识最小集，以节省入门者的时间精力；另外一方面是通俗易懂，容易理解又能有一定深度，期待读者是从放弃到入门，而不是从入门到放弃。具体方式则是将博客分门别类梳理，也会陆陆续续将一些必要知识点逐步加入，最后多久时间能形成最小知识集我也不确定，也许1年也许5年，有时间和精力就会补充一些知识点上来。

---

一.深度学习基础

      1.1 Normalization

           1.1.1综述

             -深度学习中的Normalization(BatchNorm/LayerNorm/GroupNorm/InstanceNorm等)

           1.1.2 Batch Normalization

             -Batch Normalization导读

             -在CNN和RNN中如何引入BatchNorm

      1.2 注意力模型

            -深度学习中的注意力模型

            -以Attention Model为例谈谈科研中的创新模式

      1.3 极深网络：ResNet/DenseNet等

           -极深网络:SkipConnection为何有效？

---

二.深度学习在自然语言处理的应用

      2.1 基础模型概述

            2.1.1 RNN模型综述

                  -深度学习与自然语言处理之：从RNN到LSTM

                  -深度学习中“门函数”的作用

            2.1.2 CNN模型综述

                  -深度学习与自然语言处理之：CNN模型

                 -自然语言处理中CNN常用的Max Pooling操作

           2.1.3 Transformer(目前最强的特征抽取器，建议熟练掌握)

                 -The Illustrated Transformer中文翻译   ：简单好理解，入门最佳

                 -The Annotated Transformer. （哈佛大学介绍，目前我发现的网上最好的介绍资料）

                 -放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较  

     2.2 自然语言处理应用

            2.2.1 预训练模型（Word Embedding-ELMO-GPT-BERT）

                -从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史

            2.2.2 序列标注问题

                  -使用RNN解决序列标注问题的通用思路

           2.2.3 句子对匹配

                 -使用RNN解决句子对匹配的常用网络结构

          2.2.4 聊天机器人

                -使用深度学习打造智能聊天机器人

          2.2.5 机器阅读理解

                -深度学习解决阅读理解的研究进展

---

三.深度学习在推荐领域的应用

     3.1 CTR预估的综述

          -深度学习在CTR预估任务中的应用

     3.2 推荐系统应用的综述

          -深度学习在搜索和推荐领域的应用