年货系列6-【转载】深度学习&强化学习

本文是小小挖掘机2020年货的第六篇,主要回顾一下2019年转载的深度学习和强化学习相关的文章。后续还会有更多的年货送给大家,希望大家持续关注呦~。首先感谢以下公众号提供的支持:

年货系列6-【转载】深度学习&强化学习_第1张图片

年货系列回顾:

年货系列1-【原创】推荐系统遇上深度学习系列

年货系列2-【原创】其他原创汇总

年货系列3-【转载】推荐系统相关

年货系列4-【转载】数据分析及处理&特征工程

年货系列5-【转载】机器学习

本文将从深度学习&强化学习基础、学习经验、模型开发、企业实践四个方面进行回顾。

1、深度学习&强化学习基础

谈到深度学习,免不了和机器学习进行一定的比较,那么二者到底有什么区别呢?深度学习vs机器学习 | 这些本质区别你知道多少?一文中从数据相关性、硬件依赖性、特征工程、解决问题方法、执行时间、可解释性等方面进行了详细的比较。

学习深度学习,比较经典的一本书就是花书《深度学习》,视频来说的话,吴恩达和李宏毅的课程值得推荐:

李宏毅课程视频链接:https://www.bilibili.com/video/av9770302?from=search&seid=16346799038766434275

而下面两篇文章分别是《深度学习》一书的笔记和李宏毅老师课程的PPT:

深度学习笔记

李宏毅:1 天搞懂深度学习,我总结了 300 页 PPT(附思维导图)

接下来,深度学习应用比较火的两个领域,可以说是NLP和CV,下面的一些文章,对这两个领域的一些重点知识和模型进行了总结:

详细解读LSTM与GRU单元的各个公式和区别

从word2vec到bert:NLP预训练模型发展史

Bert时代的创新(应用篇):Bert在NLP各领域的应用进展

XLNet : 运行机制及和 Bert 的异同比较

All Attention You Need

一文读懂深度学习中的N种卷积

12篇文章带你进入NLP领域,掌握核心知识

再说说强化学习,学习强化学习,书籍推荐两本《强化学习》和《强化学习精要》:

而视频的话推荐David Silver、李宏毅老师的课程,代码实战推荐莫烦老师的课程,下面是对应的视频链接:

David Silver:https://www.bilibili.com/video/av35209257?from=search&seid=9466487540896398847

李宏毅:https://www.bilibili.com/video/av63546968?from=search&seid=16346799038766434275

莫烦:https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/

下面是今年转载的一些强化学习相关的文章,给大家参考:

强化学习的三种范例(Three Paradigms of Reinforcement Learning)

「回顾」强化学习在自然语言处理中的应用

解读72篇DeepMind深度强化学习论文

【重磅】61篇NIPS2019深度强化学习论文及部分解读

最后这篇文章总结了10篇19年深度学习相关的热门论文,感兴趣的同学建议阅读:

2019年机器学习/ 深度学习热门论文集锦

2、学习经验

下面的几篇文章,是一些深度学习相关的学习经验,建议阅读,避免踩坑:

这是一篇关于如何成为一名AI算法工程师的长文

李飞飞:我怎样走上AI研究之路

深度学习的一些经验总结和建议| To do v.s Not To Do

【收藏】李纪为:初入NLP领域的一些小建议

3、模型开发

在学习完基础知识后,一定要进行动手实践,首先是配置环境,下文介绍了配置环境中的一些坑:

深度学习环境配置有哪些坑?

目前常用的深度学习编程语言是Python,这毫无疑问,但是框架众多,有tensorflow、pytorch、keras等,据小编了解,目前企业中使用最多的还是Tensorflow,学习TF,除了官网教程之外,谷歌大脑 (Google Brain) 的 Laurence Moroney 教的TensorFlow in Practice课程也推荐给大家,下文是相关的笔记:

课程笔记-吴恩达 16 周「TF 实践」最新专项课

当你编写完你的模型之后,需要对模型进行调优,下面一些文章对如何进行模型调优给出了一定的建议:

神经网络中的权值初始化:从最基本的方法到Kaiming方法一路走来的历程

深度学习基础之 Dropout

推荐收藏 | 如何在实际中计划和执行一个机器学习和深度学习项目

调试神经网络的checklist,切实可行的步骤

4个提高深度学习模型性能的技巧

标签平滑&深度学习:Google Brain解释了为什么标签平滑有用以及什么时候使用它(SOTA tips)

模型离线训练完成之后,需要上线部署,tf serving是比较不错的选择,下文介绍了美团使用tf serving的一些经验:

基于TensorFlow Serving的深度学习在线预估

4、企业实践

最后是深度学习在企业中的一些实践,深度学习在企业中的应用越来越多,根据不同的业务,会对模型进行一定的改进。想要了解如何使用深度学习解决企业相关的业务问题,下面的文章一定不能错过:

大众点评信息流基于文本生成的创意优化实践

深度学习在360搜索广告 NLP 任务中的应用

美团BERT的探索和实践

你可能感兴趣的:(年货系列6-【转载】深度学习&强化学习)