年货系列6-【转载】深度学习&强化学习
本文是小小挖掘机2020年货的第六篇，主要回顾一下2019年转载的深度学习和强化学习相关的文章。后续还会有更多的年货送给大家，希望大家持续关注呦～。首先感谢以下公众号提供的支持：
年货系列回顾：
年货系列1-【原创】推荐系统遇上深度学习系列
年货系列2-【原创】其他原创汇总
年货系列3-【转载】推荐系统相关
年货系列4-【转载】数据分析及处理&特征工程
年货系列5-【转载】机器学习
本文将从深度学习&强化学习基础、学习经验、模型开发、企业实践四个方面进行回顾。
1、深度学习&强化学习基础
谈到深度学习，免不了和机器学习进行一定的比较，那么二者到底有什么区别呢？深度学习vs机器学习 | 这些本质区别你知道多少？一文中从数据相关性、硬件依赖性、特征工程、解决问题方法、执行时间、可解释性等方面进行了详细的比较。
学习深度学习，比较经典的一本书就是花书《深度学习》，视频来说的话，吴恩达和李宏毅的课程值得推荐：
李宏毅课程视频链接：https://www.bilibili.com/video/av9770302?from=search&seid=16346799038766434275
而下面两篇文章分别是《深度学习》一书的笔记和李宏毅老师课程的PPT：
深度学习笔记
李宏毅：1 天搞懂深度学习，我总结了 300 页 PPT（附思维导图）
接下来，深度学习应用比较火的两个领域，可以说是NLP和CV，下面的一些文章，对这两个领域的一些重点知识和模型进行了总结：
详细解读LSTM与GRU单元的各个公式和区别
从word2vec到bert：NLP预训练模型发展史
Bert时代的创新（应用篇）：Bert在NLP各领域的应用进展
XLNet : 运行机制及和 Bert 的异同比较
All Attention You Need
一文读懂深度学习中的N种卷积
12篇文章带你进入NLP领域，掌握核心知识
再说说强化学习，学习强化学习，书籍推荐两本《强化学习》和《强化学习精要》：
而视频的话推荐David Silver、李宏毅老师的课程，代码实战推荐莫烦老师的课程，下面是对应的视频链接：
David Silver：https://www.bilibili.com/video/av35209257?from=search&seid=9466487540896398847
李宏毅：https://www.bilibili.com/video/av63546968?from=search&seid=16346799038766434275
莫烦：https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/
下面是今年转载的一些强化学习相关的文章，给大家参考：
强化学习的三种范例（Three Paradigms of Reinforcement Learning）
「回顾」强化学习在自然语言处理中的应用
解读72篇DeepMind深度强化学习论文
【重磅】61篇NIPS2019深度强化学习论文及部分解读
最后这篇文章总结了10篇19年深度学习相关的热门论文，感兴趣的同学建议阅读：
2019年机器学习/ 深度学习热门论文集锦
2、学习经验
下面的几篇文章，是一些深度学习相关的学习经验，建议阅读，避免踩坑：
这是一篇关于如何成为一名AI算法工程师的长文
李飞飞：我怎样走上AI研究之路
深度学习的一些经验总结和建议| To do v.s Not To Do
【收藏】李纪为：初入NLP领域的一些小建议
3、模型开发
在学习完基础知识后，一定要进行动手实践，首先是配置环境，下文介绍了配置环境中的一些坑：
深度学习环境配置有哪些坑？
目前常用的深度学习编程语言是Python，这毫无疑问，但是框架众多，有tensorflow、pytorch、keras等，据小编了解，目前企业中使用最多的还是Tensorflow，学习TF，除了官网教程之外，谷歌大脑 (Google Brain) 的 Laurence Moroney 教的TensorFlow in Practice课程也推荐给大家，下文是相关的笔记：
课程笔记-吴恩达 16 周「TF 实践」最新专项课
当你编写完你的模型之后，需要对模型进行调优，下面一些文章对如何进行模型调优给出了一定的建议：
神经网络中的权值初始化：从最基本的方法到Kaiming方法一路走来的历程
深度学习基础之 Dropout
推荐收藏 | 如何在实际中计划和执行一个机器学习和深度学习项目
调试神经网络的checklist，切实可行的步骤
4个提高深度学习模型性能的技巧
标签平滑&深度学习：Google Brain解释了为什么标签平滑有用以及什么时候使用它(SOTA tips)
模型离线训练完成之后，需要上线部署，tf serving是比较不错的选择，下文介绍了美团使用tf serving的一些经验：
基于TensorFlow Serving的深度学习在线预估
4、企业实践
最后是深度学习在企业中的一些实践，深度学习在企业中的应用越来越多，根据不同的业务，会对模型进行一定的改进。想要了解如何使用深度学习解决企业相关的业务问题，下面的文章一定不能错过：
大众点评信息流基于文本生成的创意优化实践
深度学习在360搜索广告 NLP 任务中的应用
美团BERT的探索和实践
