吴恩达教授访谈Hinton教授摘要

视频源地址：https://mooc.study.163.com/course/2001281002#/info

AI届的两位大牛的对话。总结如下：

1. Hinton的论文让人们真正意义上地理解了反向传播(BP)算法，1986年被Nature收录。

最近在读Hinton与1985年写的一篇关于BP算法中Delta-Rule的文章，文章名字叫

LearningInternal Representations By Error Propagation

2.现代AI的观点，也就是正式的结构主义观点，任何一个概念都有许多其他概念与其相关，为了理解一个概念，可能需要一个图形结构或者一个语义网络。

3. Hinton认为他发现的那些算法或者网络结构中，到目前他还很有兴趣的是:

(1) Boltzmann机，用很简单的学习算法去应用到密度很高的网络结构中，但是运行速度很慢，于是提出了受限Boltzmann机，取得了很好的效果。

(2) 受限Boltzmann机的训练，仅学习一层的隐藏特征，然后重复地把这些特征当成数据，一直重复，直到你想要的次数。

(3) 变分法，使得EM过程更有效。

4.ReLU激活函数等同于一叠Logistic神经元。

5.虽然未来无监督学习会变得很重要，但是目前主要的研究还是针对监督学习。

6.生成对抗网络是深度学习中最新、最重要的想法。

7.入门深度学习的方法：

（1）多读论文，但别读太多（适合于比较有创新想法的童鞋）

（2）重现发表论文中的算法

（3）不要停止编程

（4）要相信自己的直觉，不要因为大家都反对这个idea，就否定了自己的想法。

8.对于找导师的意见，一定要找个和自己认知相同的老师，你做的东西，导师也要赞同。

9.吴恩达和Hinton教授都认为，深度学习虽然不像是第二次工业革命，但是规模相当，因为人类和计算机的关系改变了，不再只是编程，而是教会计算机去学习。