信仰 4——日常生活中看不到的那些人和事

Neil Zhu，ID Not_GOD，University AI 创始人 & Chief Scientist，致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标，带领团队快速成长为人工智能领域最专业的力量。
作为行业领导者，他和UAI一起在2014年创建了TASA（中国最早的人工智能社团）, DL Center（深度学习知识中心全球价值网络），AI growth（行业智库培训）等，为中国的人工智能人才建设输送了大量的血液和养分。此外，他还参与或者举办过各类国际性的人工智能峰会和活动，产生了巨大的影响力，书写了60万字的人工智能精品技术内容，生产翻译了全球第一本深度学习入门书《神经网络与深度学习》，生产的内容被大量的专业垂直公众号和媒体转载与连载。曾经受邀为国内顶尖大学制定人工智能学习规划和教授人工智能前沿课程，均受学生和老师好评。

在1980年代后期，神经网络到处可见。他们重新出现在纽约时报上，一篇关于圣地亚哥研究团队的技术书籍的书评。很多公司确信可以使用神经网络解决一堆问题。甚至在好莱坞的电影中，如阿诺施瓦辛格饰演的终结者说，“我的CPU是神经网络处理器，是一台学习机器” 这样的表述来吸引眼球。

Yann LeCun, NYU教授，同时也是Facebook的人工智能实验室的领袖

Hinton在卡内基梅隆大学呆了几年。与Rumelhart和Ronald J. Williams一起，他展示了神经网络可以学习多层的特征，并证明可以从这些网络开始构造复杂的计算。但是他对BP并不十分满意，除了他之外，LeCun等人也同样发明了BP，BP也不是太强大。和Sejnowski一起，Hinton依据Boltzman分布设计出了一个神经网络，这个借助了统计力学中描述在变化的温度下物质改变能量状态的概率。（想象水变成冰。）这就是典型的Hinton：他直接借助物理类比而非纯数学理论进行编程。那是一段非常高产的岁月。Sejnowski回忆起，那时他在自家厨房，接到了Hinton的电话：“Terry，我已经知道大脑如何工作的了。” 在过去的三十年中，Sejnowski补充说，Hinton已经在电话中讲过若干次了。
世界与Hinton的蜜月期并没有多久。研究又遇到新的障碍了。神经网络确实可以学习，不过学得并不好。神经网络相当需要计算能力，并且需要一堆例子去学习。如果一个神经网络失效了，其原因我们根本没搞清楚，如同我们的大脑一样。如果两个人应用了同一个算法，其结果也是不一样的。Yann LeCun说，工程师们其实对这样的情况很讨厌。他们说，这个东西特别复杂，那些使用神经网络的人们肯定相信魔术。所以，程序员们倾向于那些可以预见行为并和BP能力相仿的学习算法。
当他们看到神经网络步入衰败时，都注视着Rumelhart，那个对神经网络第二次衰败负重要责任的男人，他退却了。他逐渐地受到Pick 病得侵扰，这个罕见的病很可能是由于过度使用脑力所致，McClelland猜测过。（他在2011年逝世。）认知科学社区设置了一个向Rumelhart致敬的奖项；而Hinton就是首个获奖者。
Yoshua Bengio，蒙特利尔大学的一位教授，说，这个领域失去了自身的愿景。他后来在1990年代加入了Hinton和LeCun的神经网络阵营。尽管LeCun后来根据视觉皮层建模的神经网络阅读了百分之二十的美国银行账单，还是没有人讨论人工智能。“在主流的机器学习会议上，很难发表于神经网络相关的研究成果了。”Bengio曾经这样告诉我，”在10年里，神经网络从一个实体化作虚无。“
十年前，Hinton、LeCun和Bengio密谋将神经网络挽回。神经网络相比于其对手有一个特殊的优势：尽管监督学习可以用来训练识别新的对象，他们同样可以识别自身的模式，就像一个小孩，如果独处，可以在他父母告知之前区分出一个球体和立体。如果他们可以让非监督学习起到作用，那么每个人都会重新关注这个领域。在2006年，Hinton发表关于“深度信念网络”的论文，这个网络可以运行很多层，并且自动地学习基本的特征，在最后的层次中训练而得到提高。他们开始称这样的人工神经网络为“深度学习”。新品牌就此诞生。
然而，也就在他们赢得世界之前，整个世界的发展也偏向了深度学习。在同一年，一种新式的计算机芯片问世——GPU，变得更加强大。Hinton的学生发现，使用这样的芯片可以很好地满足深度学习的需求。神经网络比之前整整快了30倍。Google和Facebook也已经堆满了大量的用户数据。而在计算机的大规模网络上也就可以运行程序了。Hinton的一位学生在Google实习的时候，把Hinton的语音识别加入了Google的系统。这是个立时的成功，它将困扰了人们近十年的问题很好地解决了。Google开始把Hinton的软件运行在所有的Android手机上。
这是一个伟大的成果。这些神经网络跟1980年代的并没有太大的差异。这个一个简单的监督学习。甚至都没有用到2006年Hinton的突破性成果。没有其他的算法如同神经网络这般可以大规模化。
“回顾整个历史，这仅仅是数据量和计算量的问题。” Hinton这样说。
===