深度学习介绍（六）趣闻

实际上，深度学习从上世纪80年代开始并没有受到重视，一直到90年代才有所好转，但是LeCun一直坚持了下来，正如深度学习运动核心人物Geoffrey Hinton所说，“是LeCun高举着火炬，冲过了最黑暗的时代。”微软的Leon Bottou是LeCun早期合作人之一，他说道，“没有人比LeCun更能推动卷积神经网络发展了。”Hinton何许人也？在这里我就不多说了，只想提一句Yann LeCun曾经是Hinton组的research associate。（唉~，物以类聚牛以群分啊）
你好，反向传播
反向传播是关于计算误差的一种算法。Hinton，David Rumelhart，还有Ronald Williams提出了反向传播的一个版本，它可以立刻计算出多个输入的误差，之后得出一个平均值。这个值随后会反向传播回神经网络，从输出层到输入层。他们在1986年的《自然》杂志上发表了一篇论文，阐述了反向传播算法可以提高机器学习能力。
而此时的LeCun在巴黎紧张地开发自己的反向传播算法，LeCun并没有取平均值，他的反向传播算法版本每次会取到一个单独的样本数据，然后再计算错误。这种方法非常复杂，但是效果却不错，而且学习速度也更快。LeCun的LeNets深度学习网络可以被广泛应用在全球的ATM机和银行之中，它可以理解支票上写的是什么。但仍然存在很多质疑，LeCun说道，“不知何故，似乎现在还是无法说服计算机视觉领域圈子，他们仍然觉得卷积神经网络没什么价值。”其中部分原因，可能是因为这项技术虽然强大，但是没有人可以理解它为什么如此强大，而且这项技术的内部工作方式仍然是个谜。
关于人工智能未来的一个赌局
卷积神经网络受到了很多人的质疑，Vladinmir Vapnik就是其中之一，他是一名数学家，也是目前应用最广的人工智能模式之一的支持向量机之父。
1995年3月的一个下午，Vapnik和Larry Jackel（把LeCun招进贝尔实验室的人）打了一个赌。Jackel认为到2000年，我们能够明确了解人工神经网络能够发挥多大作用。Vapnik不同意这个观点，他认为就算到2005年，也没有人能够理解如何使用神经网络，与1995年的状况相差无几。他们的赌注是一顿奢华的晚餐，双方在证人面前签字画押，而LeCun则是第三方签名人，Bottou是非官方见证人。
Vapnik赢了一半，2000年，神经网络的内部工作原理基本上仍然被神秘所笼罩，甚至到现在也没什么改观，研究人员无法精确地判断出如何让神经网络更好地应用在现实生活之中。但是Jackel也赢了一半，对于LeCun来说这一半胜利更为重要。在2005年，深度神经网络仍然应用在银行和ATM机上，这完全得益于LeCun在上世纪80年代中后期和90年代初的工作成就。
未来会怎样？
实际上对于深度学习来说，这仅仅是个开始，包括LeCun在内的深度学习圈子仍然在优化这项技术。今天，卷积神经网络应用最广泛的地方都需要依靠监督学习。这意味着，如果你想要学习如何识别某个特定对象，那么你必须要列举好几个例子。想要真正像大脑那样进行无监督学习，还需要深度学习进一步探索。
“大脑无监督学习是如何实现的，我们还不得而知，我们还没有能力开发出一个类似大脑皮质的算法，”LeCun说道，“我们知道最终的答案是无监督学习，但是现在我们还没有找到这个答案。”
反向传播算法的未来也是一样，LeCun卷积神经网络背后的想法也许并不完美，但是就目前而言，它们已经是现在最先进的技术了。
LeCun的其它贡献

LeCun的工作已经远远超出了神经网络。上世纪90年代末，他开发了一套图像压缩系统，希望可以扫描文件，让互联网上的人都能阅读。这项技术并没有获得成功，但是却给一个年轻人带来了启发，他就是Larry Page。1998年，Page还是研究生的时候在斯坦福大学听了LeCun的演讲，最终成为了Google的联合创始人。（唉~，让我们这些研究生说什么好呢？）
LeCun还致力于机器人技术和人工智能硬件。最近他在纽约大学创立了数字科学中心，并指导新一代人工智能研究人员，其中就包括了最近被Twitter收购的图像索引公司Madbits创始人Clement Fabaret。在LeCun的空闲时间，他还开发飞机模型。
扎克伯格力邀LeCun加盟一点都不奇怪，因为他希望让公司掌握的海量数据发挥更大价值。Facebook公司最近一直在忙于收购，比如虚拟现实公司Oculus，太阳能无人飞行器制造公司Ascenta，还有WhatsApp。这些产品必将受益于LeCun的人工智能技术。对于这次跳槽到Facebook，LeCun感到很兴奋，因为那里有他纽约大学的同事，另一位人工智能天才Rob Fergus。他们将一起把人工智能实验室发展成为一个世界级的研究机构，并与谷歌、微软、IBM、以及百度竞争。当然，最后我们回归本源，不要忘记著名的贝尔实验室，因为那里培育了很多技术，也是创新的发源地，包括深度学习。