资源 | 深度学习课程入门与介绍

【1】Andrew NG Deep Learning.ai

http://deeplearning.ai/

网易云课堂(中文字幕):http://mooc.study.163.com/smartSpec/detail/1001319001.htm


推荐理由:Andrew Ng老师是讲课的能手,很多人认识他是从Stanford的经典《机器学习》课程上。Andrew老师授课思路清晰,简洁明了。相信这门他宣布创业后推出的第一门课程一定不会让人失望。


最近, Andrew Ng 在Twitter上发布了关于这门课程的消息。 从2014年初开始,我就一直在关注他,我正在参加他在Coursera上的一门课程,学习和机器学习有关的数学知识。 从工程背景出发,他的第一门课程非常有趣,同时也有点难度。2016年底的时候,吴先生从百度离职,不再担任百度的首席科学家,并于今年8月8日推出了一个新的深度学习专业化的课程。 我在今年晚些时候才想起来,因为我的时间之前一直被一些其他的项目所占据。 然后我从Fast.ai上 Arvind N的学生那里读到了一篇关于他如何在4天内完成所有3节课的博客以及他对fast.ai和deeplearning.ai的看法。

4天内完成所有3节课的博客

https://medium.com/towards-data-science/thoughts-after-taking-the-deeplearning-ai-courses-8568f132153

我想挑战自己,看是否我可以在不到4天内完成相同的事情。并且我成功了,在3天内完成了3门课程。

关于指导老师:

Andrew Ng是斯坦福大学教授,共同创办了Coursera,成立并领导了Google Brain的深度学习项目,并曾任百度首席科学家。课程反映了他在各种大规模问题上学习到的知识。

该课程帮助您了解深度学习所需的数学知识,并在课程2结束之后,学习如何从头开始构建深度学习算法的几个关键组件。

关于课程:

课程分为5节。截止到这篇博客发布(8月19日),已经发布了前3节课。 Andrew Ng在本门课中采用了自下而上的教学安排。在他早期的课程中,他选择octave进行编程作业,但这个课程他选择了python。

1. 在课程1中,他详细地介绍了深度学习中许多概念所需的数学和直观认识。他小心地对课程内容进行平衡,并教授数学知识,这是了解深度学习的基础所必需的。指定会话对通过编程的方式实践数学知识非常有帮助。所有的公式都已经提供好了,所以哪怕没有太多的数学知识,你也可以专注于实现它们。

2. 课程2涵盖了正则化,动量,批量归一化和dropout等许多技术,来提高DL模型的性能。这个课程的最好的部分就是使用python和numpy来实现所有的技术。

3. 在第3节课中,他介绍了他从多年的经验中学到的很多技巧和窍门。在第三部分课程结束时,他介绍了DL框架。课程3的作业是学习怎样使用TensorFlow。作业设计的非常明确。

4. 课程4是关于CNN的。课程发布后,我将更新此部分。

5. 课程5是关于RNN或序列数据的。一旦课程发布,我将更新该部分。

亮点:

1. 当你学完前3节课后,你的基础知识将非常强大。

2. 前3个课程采取了框架独立的方法。这能让你轻松使用任何框架。

3. 课程中包含了关于如何设计评估指标、如何分割数据集进行训练以及避免方差和偏差问题的实用技巧。

4. 当然,最好的一部分是案例研究,您可以在这里找到一个机会,来验证你已经理解了如何成功执行深度学习项目。

5. 所有的作业都是以jupyter notebook的形式提供的,并在Coursera服务器上运行,因此无需担心基础的框架。

6. 学完3节精彩的课后,仍有2节课值得期待。

7. 每周都有一个名为“深度学习英雄”的演讲。这是一个很好的来源,让我们了解深度学习背后的历史和灵感。

局限:

1. 对于一些全新的深度学习或机器学习项目,从头开始构建每一部分并了解其背后的数学原理,可能非常具有挑战性。

2. 由于课程遵循自下而上的方法,所以即使在第三节课结束后,您仍然很难在您的领域中使用DL来构建解决方案。

3. 由于提供了基础框架,所以您将不再学习如何管理自己的工作站。而且如果要使用很多技术,有能力在云端或家庭/办公室配置机器这一点非常重要。

4. 课程提供了许多示例代码,使得完成作业变的更容易。但是要真正掌握一个技能,还得不使用示例代码,将整个作业复现一遍,这是非常重要的。这可能谈不上是课程的局限性,但如果您想要充分利用它,这是非常重要的。

费用:

所有课程内容都是免费提供。但是我不知道这些作业是否也免费提供。如果你正在参加付费版本的课程,那么你最终每月花费大约367元或55 $。


【2】 fast.ai 的 Making neural nets uncool again

http://www.fast.ai/

中文字幕 https://edu.csdn.net/course/detail/5192

推荐理由:这门课和很多传统的授课方式不同,它从应用入手,逐步往深了讲,让你先领会“开车”的乐趣,然后再兴致盎然地去学习车的原理甚至去修车。有人建议,以此入门,找到乐趣,再学习更基础的课程。

Fast.ai

我是在kddnudgets的一篇文章中发现的这门课程。当时是我第一次听说Jeremy Howard,于是我在维基百科搜索了他,印象非常深刻。于是我购买了这门由Jeremy和Rachel Thomas教授的MOOC。看完第一堂课,我就被他们的教学风格深深震撼了。

您将在几个小时内学到如何构建顶尖水准的图像分类器,这甚至连几美元的价格都不到。

Jeremy Howard:

https://medium.com/@jeremyphoward

https://en.wikipedia.org/wiki/Jeremy_Howard_%28entrepreneur%29

关于指导老师:

Jeremy的背景与通常的教授非常不同,他不是任何顶尖大学的博士生导师,也未曾就职于谷歌,百度,微软等顶级公司。他自学成才,是kaggle竞赛高手,企业家和Fast.ai的CEO,目前唯一的目标就是让深度学习不再神秘。 他的独特背景让这门课程变得与众不同,因为他教会了不同背景的人如何使用深度学习,而无需大量数据或计算能力。

关于课程:

课程分为2部分,每7周学完一个部分。

课程的第一部分讲授如何在计算机视觉和自然语言处理(NLP)领域使用深度学习。

第二部分讲授生成网络,GAN,序列模型等前沿研究工作,如何阅读研究论文,以及如何在深入学习领域保持领先的实用技巧。这些技巧正在以惊人的速度发展。

本课程教学风格独特。课程作者习惯于这种独特的方法。

我们不会让您在先了解有关速度,动量,分析等方面的信息之后,再去学习打板球(或任何游戏),最后在18点进场。相反,我们先带您先去现场,握着球或棒球棒,然后在实战中学习其他知识。

通过这种独特的方法,您将首先学习如何在云上部署工作站,安装软件,并使用深度学习快速构建解决方案。每周Jeremy会挑选一个新的问题,然后他教授你如何使用技术来提高模型的性能。他教的东西很实用,比如使用预卷积特征,伪标记和许多非常有用的技巧。到第一部分结束,您将能够使用深度学习在您工作的领域构建实用的应用程序。

课程的第二部分介绍了前沿研究,帮助您阅读,理解和实施生成式模型,图像分割和序列到序列模型的各种研究论文。您将学习构建一些有趣的项目,如风格转移,低分辨率图像到高分辨率图像,GAN,图像分割,翻译以及如何将深度学习应用于结构化数据。第二部分最重要的部分是建立自己的工作站。如果您对深度学习充满激情,并希望构建各种深度学习应用程序,这将非常有用。

亮点:

构建一流的计算机视觉或NLP系统的能力。

了解和使用为深度学习应用程序提供支持的现代主流架构。

当您的数据和计算能力有限时,如何快速应用DL的实用技巧。

一个庞大的社区,支持您在不同阶段学习和实施您的解决方案。

轻松使用3种流行的DL框架:Keras,TensorFlow,PyTorch。

在课程结束之后,您将不再为阅读研究论文,构建新项目而头痛。Fast.ai的博客以及整个社区都将为您提供支持。

局限:

由于本课程遵循自上而下的方法,您将非常依赖一个框架来对基础数学有一定的理解。如果您正在筹备一项工作或计划在该领域进行更多的研究,那么提高你理解DL中的数学知识的能力将很有帮助。

有些机构对证书很看重,他们认为这是你完成课程的证明。但我猜Jeremy认为我们都是成熟的孩子,所以没有提供任何形式的证书。 Jeremy和Rachel鼓励撰写博客,构建项目,在会议中进行讨论等活动,以实力来代替传统证书的证明作用。 我个人认为这是非常有用的。

费用:

MOOC本身没有相关费用。但是要上手实践这些项目,您最终需要在AWS上产生支出,或许您会选择自己配置机器,但这样做很贵。当然在家里有一个强大的工作站是非常有帮助的


【3】斯坦福大学的课程 CS231n --- Convolutional Neural Networks for Visual Recognition

http://cs231n.stanford.edu/

推荐理由:此门课有斯坦福人工智能实验室主任Fei-Fei Li主讲,作为IMAGE-NET的主要发起人,Li的实验室一直活跃在计算机视觉前沿研究领域,培养了众多青年才俊。建议从事计算机视觉方向的同学关注此课程。


【4】 2016 年蒙特利尔深度学习暑期班

https://www.youtube.com/watch?list=PL5bqIc6XopCbb-FvnHmD1neVlQKwGzQyR&v=xK-bzjIQkmM

推荐理由:看看嘉宾阵容吧,Yoshua Bengio 教授循环神经网络,Surya Ganguli 教授理论神经科学与深度学习理论,Sumit Chopra 教授 reasoning summit 和 attention,Jeff Dean 讲解 TensorFlow 大规模机器学习,Ruslan Salakhutdinov 讲解学习深度生成式模型,Ryan Olson 讲解深度学习的 GPU 编程,等等。


【5】斯坦福大学的课程CS 20SI: Tensorflow for Deep Learning Research

http://web.stanford.edu/class/cs20si/index.html

推荐理由:Tensorflow正在一统天下,此门课程带你用Tensorflow入门深度学习世界,无论是科研还是应用,都是不错的入门材料。


【6】Geoffrey Hinton Neural Networks for Machine Learning | Coursera

https://www.coursera.org/learn/neural-networks

推荐理由:没错,授课人就是凭一己之力把深度神经网络带向辉煌的Hinton老爷子,课程难度不小,但相信坚持下来收获一定不小。


【7】斯坦福大学的课程CS224d: Deep Learning for Natural Language Processing

http://cs224d.stanford.edu/

推荐理由:面向NLP的深度学习课程,从基础神经网路讲起,到概率模型,再到word2vec,最后讲到RNN模型在NLP领域的应用等,是NLP方向的必修课。


【8】Yann Lecun 深度学习公开课

https://www.college-de-france.fr/site/en-yann-lecun/course-2016-04-15-11h00.htm

推荐理由:作为 Facebook AI 实验室(FAIR)的负责人和CNN的发明人,Yann Lecun 身处业内机器学习研究的最前沿,通过该课程能了解到近几年深度学习研究的最新进展。该系列可作为探索深度学习的进阶课程。


【9】UBC 本科生的机器学习课程 Machine Learning for Undergraduates

https://www.youtube.com/playlist?list=PLE6Wd9FR--Ecf_5nCbnSQMHqORpiChfJf

推荐理由:从课程名称上就可看出这是门偏向基础的课程,是了解机器学习基础的入门必修课。数学是这门课的重点内容,授课老师Nando de Freitas 对基础数学原理做了很好的讲解,并引出了更高级的数学概念


------------------------------------------------------------------------------------


吴恩达、Udacity和Fast.ai的课程我们替你分析好了

 
   

引言

过去2年,我一直积极专注于深度学习领域。我对深度学习的兴趣始于2015年初,那个时候Google刚刚开源Tensorflow。我根据Tensorflow的文档快速地尝试了几个例程,当时的感觉是深度学习并不简单。部分原因是因为深度学习的框架很新,也需要更好的硬件支持和耐心来摸索。

时间快进到2017年,我已经在深度学习的项目上花费了几百个小时。并且由于软件(易用性,例如Keras,PyTorch)、硬件(对于我这样在印度工作的人来说,尽管仍然不便宜,但GPU已经发展成了商业产品)、数据可用性、优质书籍以及MOOC的发展,这项技术正在变得越来越触手可及。

在完成了Fast.ai,deeplearning.ai /Coursera (不完全发布)和Udacity这三个深度学习领域最受欢迎的MOOC之后,相信写这样一篇博客,告诉你们能期望自己从这3门课程中学到什么,对以后的深度学习爱好者一定很有用。

Fast.ai:http://www.fast.ai/

deeplearning.ai /Coursera:https://www.deeplearning.ai/

Udacity:https://in.udacity.com/

在这篇文章中,我将从5个方面介绍每门课程,这将有助于你做出决定。

关于指导老师:每门课程都是由具有不同背景的人教授的。我相信这些经历对教学风格有很大的影响,所以我们将了解一下课程指导老师的背景。

关于课程:课程的高级概述。

亮点:课程中最精彩的部分。

局限:我对这个词非常苛刻。因为我知道所有这些课程都为了让学习内容变得更容易,付出过巨大而真诚的努力。我想把这一部分解释为,我们在课程中错过了什么。某些局限性可能是因为课程的设计带来的。

费用:参加课程产生的费用。

Udacity上Siraj Raval深度学习纳米学位

我是Udacity的粉丝。他们在很多主题上都有非常好的课程。所以当今年初读到深度学习课程的公告时,我非常开心,并在第一批就进行了注册。


作者简介:Vishnu Subramanian,终身学习者,热衷于深度学习,分布式计算。目前正在积极寻找AI /深度学习的机会。

如果你想学习深度学习,你会选择哪家的课程呢?

作者:AI科技大本营 链接:https://www.jianshu.com/p/28f5473c66a3

转载于:https://www.cnblogs.com/WayneZeng/p/9290685.html

你可能感兴趣的:(资源 | 深度学习课程入门与介绍)