对话深度学习专家雅恩∙乐昆：让深度学习摆脱束缚

时间：这个报道是大概2015年2月的文章：Facebook AI Director Yann LeCun on His Quest to Unleash Deep Learning and Make Machines Smarte，然后翻阅在CCF上的。

知识点：

1、其实之前一直不知道这几个大神这个叫比较好，现在稍微有个更好的中文名字

Yann LeCun（雅恩∙乐昆） Geoff Hinton（辛顿） Yoshua Bengio（约舒阿∙本希奥） 

2、

　　

　　　　1)等于其实DL和一般的Ml的区别还是在于特征的提取，或者称之为表达。

　　　　2)这里end to end的理解，跟我以前的理解不一样。我更多理解为一个黑箱，输入到输出。而这强调的是每个组件每个阶段都能训练。这等于还是比较偏向于控制论的观点。似乎控制论以后逐步会在DL中起到越来越关键的作用。哎，学了那么多年自动化，终于知道它有用了，泪流满面。

3、

　　

　　

　　这句我的理解，就是深度学习的优势在于：

　　　　1）对于不好提取特征的任务，比如图像，它能够更容易的提取比较好的特征（相对于手动设计特征提取器节省了很多实际）

　　　　2）即使提取了比较好的特征，准确率上不去。或者说提取了比较好的特征，在分类类别比较多的情况下，准确率上不去。不知道这理解对不对。

4、

　　　　1）其实这也是承认了深度学习本来就是一个新炒的概念

　　　　2）深度学习一般要5层起步

5、

　　

　　　　1）这里面其实也体现了控制论，其实应该算是如果深度学习发展成熟后的理论基础。

6、

　　

　　　　1）不管理论好坏，先看效果。

　　　　2）神经网络还不少东西是解释不清楚的

7、

　　

　　　　1）现在的炒作已经过火了

　　　　2）就CNN而言灵感来源于视觉皮质基础知识。也仅仅是基础知识

　　　　3）由于目前对于大脑运行机理的不了解。所以只能，借鉴部分基础知识，但不会完全仿照大脑运行机理。还是理论、直觉、经验探索。其实这三个词的表述挺有意思。

8、

　　

　　　　1）等于目前在没有对人脑运行机理了解很清楚的情况下，搭建模拟神经网络是不科学的。

　　　　2）AI这玩意，必须在各个理论都成熟的基础上，才能整出来，这不知道还要等到猴年马月才能处理。

　　　　3）我个人感觉希望能够理解背后的本质，然后制造出一个AI，但AI（不论好坏）这玩意，很有可能在你不是透彻的了解其中运行机理的情况下就出现了。

9、

　　

　　

　　

　　　　1）其实我个人之前一直感觉无监督学习不是很靠谱，用来预训练其实是可以解释的。数据里面本来就含有很多先验信息。人的成长我感觉就是一个有监督的训练过程，比如狼孩根本啥都不懂，但这也可以理解为他接触的环境的限制。不过对于聋哑人怎么认识这个世界，这不了解，但这肯定是一个有监督的过程。个人感觉这中有监督的学习，为一种更复杂的增强学习。可以把很多问题，保存起来，然后慢慢的回答，并不断修正答案。

　　　　2）还是论文读的不够，还真不知道大神原来一开始都想搞无监督的

　　　　3）这基本说明了，现在CNN是之前提出的DL模型中最好的方法

　　　　4）其实从人脑的运行机理，来说。我感觉为时太早，现在的硬件尽管上亿个神经元，但是和人脑还是有很大的差距。在硬件层面上的具备基础的智能需求，我感觉还是要弄能耗。或者生物电脑等技术上突破，才可能满足人工智能的基本条件。

　　　　5）现在的有监督比无监督效果好。我感觉其实单纯来说，无监督的数据量还不够。数据量不够，肯定是有监督效果好。

　　　　6）完全的无监督学习，我也能理解，就是在大量的无监督数据的基础上，“从无到有”从新建立一套世界观，当然这套世界观对于世界的认识，可能高于人类。就按一般的我朝学生一般也是大三大四才建立“世界观”，这也有22年，肯定不可能时刻接收比较有效的数据，而且接收的还是大量的有监督数据。但感觉就计算机来说，如果走向AI，现在的训练方法不对。应该仿照一个人成长的过程，按顺序输入各阶段的数据，来训练。不过貌似现在的计算机各方面综合性能和人脑相比，还是有很大的差距，所以现在想无监督，我感觉还为时过早。甚至我个人感觉完全的无监督学习的人工智能，甚至会比完全有监督的人工智能出现的时间更晚，那这完全的无监督学习有毛用呀。而且我感觉就个人来说，小学三年级以后，差不多是大量的有监督加上少量的无监督。而且这无监督都是在监督下的无监督，这无监督还是无监督吗？

10、

　　

　　　　1）信息大爆炸，导致信息垃圾太多。必须过滤，这点深有体会，每天看更新的微博就很累。

　　　　2）之前其实一直对于人工智能没有清晰的概念。但这里有个能理解数据，也就是能够非常抽象的表达数据，推理。以形成更复杂的分类器的角度。感觉这对自己有点启发。

11、

　　

　　

　　　　1）等于就是学到的东西要不断保存起来，其实看到这。我倒是感觉这整下去，对设备要求会有多高。屌丝玩不起呀。

　　　　2）其实不就是一直在仿人脑。为啥不承认呢。

12、

　　

　　　　1）难道是CV搞不动了，或者说发展到，研究AI更深一步的机理。个人感觉AI的基础、肯定是要CV和NLP结合。单单一个CV是搞不出AI的，如果能结合语音更好。

13、

　　　　1）这回答，感觉挺好的。什么伦理道德，这东西，不应该光扔给几个科学家来解决。

14、

　　

　　

　　　　1）等于其实这个AI这问题的难处，以乐观的心态，面对这个不可能。我个人的理解，就是AI这玩意像共产主义社会一样。。所以你懂的

15、

　　

　　　　1）擦，30年。那我都老了。。

　　　　2）所以说，少年洗洗睡吧。AI这玩意，别想那么多。发好论文，早点毕业，才是王道。

杂：

1、看了这文章，感觉国内杂志，就应该多翻译点这种文章，不然天天发水文，浪费纸有啥意思。

2、从这个文章中还是能够看出，这个记者还是做了不少前期工作的。不是小白去采访。

3、采访这种king of ConvNets的报道看看，还是很有好处的。最起码能了解学术前沿

4、现在深度学习的炒作确实过火，我了解到的大神已经在多个场合发表类似言论了。目前的炒作对于人工智能的发展是不利的。

5、国外也很多炒概念，混饭吃的。哪都一样。

6、很多领域的专有名词，必须有这个领域的背景，才能理解其准确的概念。不然理解的结果有偏差。

7、发博客费时间呀，不过自己记忆力太差。不记点东西，还是不行。得想想啥招。