超全整理深度学习相关学习资料,提供系统化的深度学习路径

深度学习该学习哪些资料呢?有什么比较好的入门方法?这篇文章告诉你!

最近刷到某乎,看到有小伙伴提问到 「"深度学习如何入门,有哪些学习资料?"」。看到这里,笔者想整理下一些翻山越岭,爬坑超车的经验,帮助刚入门深度学习的小伙伴。如果有想了解机器学习入门方法的朋友,可以看我之前写的机器学习入门方法和资料合集。

其实,说实话,深度学习是一个很大的概念,经常看到毕业论文,"基于深度学习的xxxx","基于机器学习的xxxxx"。那么到底什么是深度学习呢?一般的深度学习主要应用在这些领域,推荐系统、自然语言处理、图像处理等等。

所以说,刚入门或者想要入门深度学习的小伙伴们,可以选择自己感兴趣的方向。当然了,这些子领域之间也有一些共性,比如说基础的一些算法还是要知道的!比如说CNN、RNN、Transorformer。还有一些语言工具,比如说Tensorflow、Pytorch。

1 语言

Tensorflow vs Pytorch 到底该选哪个呢?仁者见仁,智者见智。就和选女朋友一样,没有最好的,只有最适合你的!

Tensorflow是由Google开源的深度学习框架,而Pytorch是由Facebook开源的深度学习框架。前者在工业界用的比较多,而后者最近在学术界也是网红般的存在。这里还有我们国产的深度学习框架,百度开源的paddlepaddle框架。

最近Tensorflow和Pytorch均更新了版本,大家可以看看 Tensorflow 2.1 以及 Pytorch 1.4

「官网:」

Tensorflow : https://www.tensorflow.org/versions/r2.0/api_docs/python/tf

Pytorch : https://pytorch.org/docs/1.3.1/

选择一门语言后,可以看官网的案例,多研究研究官网的案例,很容易掌握这些框架!

Tensorflow 案例:https://www.tensorflow.org/tutorials/

Pytorch 案例:https://pytorch.org/tutorials/

书籍

「关注公众号"AI算法之心",后台回复"深度",获取以下书籍PDF版」

书籍一:Deep Learning

超全整理深度学习相关学习资料,提供系统化的深度学习路径_第1张图片

深度学习理论入门的最经典的书籍,该书的英文版 《Deep Learning》 是Goodfellow, Bengio, 和 Courville 三位大师的杰作,英文好可以直接看原版了,英文不好的可以看这本中文译版 《深度学习》 。

「本书首先讨论了机器学习的基础知识,包括从学术观点出发的学习深度学习(线性代数、概率论和信息论等)所必需的应用数学知识。随后深入探讨了当前的深度学习算法和技术。在最后,本书重点关注了当前的深度学习的研究趋势和深度学习领域的新动向。」

书籍二:动手学深度学习

超全整理深度学习相关学习资料,提供系统化的深度学习路径_第2张图片

李沐老师的 《动手学深度学习》 ,英文版叫 Dive into Deep Learning 。这本书是沐神和三位亚马逊的同事合写的。这本书对于 零基础的朋友是非常有意义的 ,是可以从零开始的那种,且注重实践,每一小节都有Jupyter Notebook可以运行。

唯一的缺点就是这本书使用MXnet遍写,好在Github开源Tensorflow 2.0编写的动手学习深度学习。最近也出了Pytorch版本的动手学深度学习。

Tensorflow 2.0版本链接:https://github.com/TrickyGo/Dive-into-DL-TensorFlow2.0

Pytorch 版本链接:https://github.com/ShusenTang/Dive-into-DL-PyTorch

「全书的内容分为3个部分:第一部分介绍深度学习的背景,提供预备知识,并包括深度学习基础的概念和技术;第二部分描述深度学习计算的重要组成部分,还解释近年来令深度学习在多个领域大获成功的卷积神经网络和循环神经网络;第三部分评价优化算法,检验影响深度学习计算性能的重要因素,并分别列举深度学习在计算机视觉和自然语言处理中的重要应用。」

书籍三: Neural Networks and Deep Learning

超全整理深度学习相关学习资料,提供系统化的深度学习路径_第3张图片

《Neural Networks and Deep Learning》 是 Michael Nielsen 的著作。同样地,这本书也是主要讲解深度学习理论,也提供了相应的Python代码。此书相比 Goodfellow 的《Deep Learning》更加易读,并且 Nielsen 的写作风格配上书中的代码片段也使得读完这本书更加容易。

在本书官网上可免费阅读电子版:http://neuralnetworksanddeeplearning.com/ 另外网上也有分享的对应中文版资源,配套的代码链接:https://github.com/MichalDanielDobrzanski/DeepLearningPython35

书籍四:Deep Learning with Python

超全整理深度学习相关学习资料,提供系统化的深度学习路径_第4张图片

Keras之父、Google AI研究员Francois Chollet执笔的深度学习领域著作《Deep Learning with Python》。这本书从实践者的角度讲解深度学习,虽然书中也提到了一些理论知识,但是每隔几个段落,都会教你如何用 Keras 去实现相关技术。

「Francois 在书中提供了许多将深度学习应用于计算机视觉、文本、序列等方面的例子,对于想要在学习机器学习和深度学习的同时也了解 Keras 的读者来说,这本书涵盖的内容非常全面。本书内容不仅简洁易懂,而且作者对于深度学习的趋势和历史的一些看法同样令人印象深刻。需要注意的是这本书并不是一本非常深入的深度学习书籍,它最重要的作用在于通过使用 Keras 库写一些各种各样实际的深度学习示例来教你领会深度学习的基础概念。」

视频

CMU2020春季深度学习课程

超全整理深度学习相关学习资料,提供系统化的深度学习路径_第5张图片

「官方介绍:」 以深度神经网络为代表的“深度学习”系统正越来越多地接管所有AI任务,从语言理解,语音和图像识别到机器翻译,规划,甚至游戏和自动驾驶。结果,在许多高级学术环境中,深度学习的专长正在从深奥的理想变为强制性的先决条件,并且在工业就业市场中具有很大的优势。

在本课程中,我们将学习深度神经网络的基础知识及其在各种AI任务中的应用。预计到课程结束时,学生将对该主题有充分的了解,并且能够将深度学习应用于各种任务。他们还将有资格了解有关该主题的许多当前文献,并通过进一步的学习来扩展其知识。

课程官方链接:http://deeplearning.cs.cmu.edu/

斯坦福CS230深度学习课程

超全整理深度学习相关学习资料,提供系统化的深度学习路径_第6张图片

「官方介绍:」 深度学习是AI中最受追捧的技能之一。在本课程中,将学习深度学习的基础,了解如何构建神经网络,并学习如何领导成功的机器学习项目。将了解CNN, RNN, LSTM, Adam, Dropout, BatchNorm等。

课程官方链接:https://web.stanford.edu/class/cs230/

台大李宏毅深度学习课程

超全整理深度学习相关学习资料,提供系统化的深度学习路径_第7张图片

国立台湾大学李宏毅教授主讲的深度学习(包含机器学习)的视频,纯中文版,相比前面的英文版更好理解,课程相关的部分资源已经relaease出来了,今年课程新增了很多新的前沿的内容,分享给大家。

课程官方链接:http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html

Paper

随着深度学习的火热,各大顶会顶刊的accepte Paper也随之飙升。如果想了解最前言的深度学习理论和方向,Paper是不可或缺的一部分。

那么看哪些方向的顶会呢?CCF 推荐的会议期刊了解一下。

超全整理深度学习相关学习资料,提供系统化的深度学习路径_第8张图片

综合性的人工智能顶会:AAAI,NeurIPS(NIPS),ICML,COLT,IJCAI,ECAI等

自然语言处理方向:ACL,EMNLP,COLING,NAACL等

计算机视觉方向:ICCV,CVPR,ECCV,SIGGRAPH等

信息检索方向:SIGIR,WSDM,CIKM

数据挖掘方向:SIGKDD,ICDE,ICDM,ECML-PKDD等

「如何查找最近几年的顶会paper呢?」 Google搜索了解下!比如"AAAI 2020的论文"超全整理深度学习相关学习资料,提供系统化的深度学习路径_第9张图片

超全整理深度学习相关学习资料,提供系统化的深度学习路径_第10张图片 超全整理深度学习相关学习资料,提供系统化的深度学习路径_第11张图片

实战

学习深度学习的过程中,如何检验自己学习的成果呢?除了写出高水平的论文, 比赛就是一个比较好的方向,比赛其实可能会为了成绩,抠那千分位,百分位的差距,但是其实在比赛中思考才是最重要的。如何将这些经典的算法应用到工业中,这些算法在工业中的优缺点?慢慢体会!

超全整理深度学习相关学习资料,提供系统化的深度学习路径_第12张图片

国内比较大型的算法平台有:
天池大数据:https://tianchi.aliyun.com/home/
datacastle:http://www.pkbigdata.com/
datafountain:https://www.datafountain.cn/
biendata:https://biendata.com/
kesci:https://www.kesci.com/
Jdata: https://jdata.jd.com/
......

国外比较大型的算法平台有:
kaggle:https://www.kaggle.com/
Colab: https://competitions.codalab.org/
......

推荐阅读

  • 机器学习入门方法和资料合集

  • 深度学习文本分类综述

  • 一文轻松了解Graph Neural Networks

个人微信:加时请注明 (昵称+公司/学校+方向)

你可能感兴趣的:(超全整理深度学习相关学习资料,提供系统化的深度学习路径)