人工智能的新纪元——深度学习

摘要：随着大数据时代的到来，以神经网络为基础的深度学习迎来春天，世界各地深度学习研究所，研究项目如雨后春笋。一种并非全新却会令世界都会改变的新技术正在渐渐的成熟，走进我们的视野。它的出现使人工智能得到飞跃性的发展[1]。深度学习是近几年人工智能领域颇具影响力和代表性的技术之一。本文从深度学习的发展历程，深度学习的技术实现和存在的问题，以及展望和它对社会的影响进行报告。

正文：一、发展历程

1．基础

深度学习的基础是神经网络NN（Neural Network），神经网络最早出现在上世纪40年代。早在1943年神经生物学家家 warren Sturgis McCulloch和数学家Walter Potts提出一种极为简单的神经元模型神经元的阈值元件模型，简称M-P模型。该模型采用数理模型的方法对人脑进行模拟，用逻辑运行的网络模拟大脑。为神经网络的发展奠定基础。

 

2．首次高潮

而神经网络真正引起重视是在1958年，Frank Rosenblatt通过增加学习机制，推广了M-P模型，并首次将神经网络理论付诸工程实现，制造了叫做“感知器”的神经网络计算机，并从理论上证明了单层神经网络处 理线性可分分类问题的收敛性[2]。在1962年,Rosenblatt总结了他的研究成果，并出版了《神经动力学原 理：感知机和大脑机制的理论》[3]一书。他的研究成果引起了美国军方的极大兴趣。美国军方甚至认为神经网络工程比原子弹工程更加重要，因此不惜投入重金，大力资助了Rosenblatt的工作，并掀起了神经网络的 首次高潮.

 

3．再次高潮

1982年美国生物物理学家JohnJ. Hopfield采用了新型的全互联神经网络模型，此后的研究者通过改进该模型，使之更接近人脑的功能。在1986年出版的《Parallel Distributed Processing :Exploration in the Microstructuresof Cognition》中提出了多层前馈神经网络的学习算法，即BP算法。它从证明的角度推导算法的正确性，是学习算法有理论依据。从学习算法角度上看，是一个很大的进步。[3]宣告了神经网络的再次高潮。

 

4．再次发展进入深度网络

2006年，加拿大多伦多大学 GeoffreyE. Hinton教授和他的学生使用逐层训练的方法克服了传统方法在训练深层次神经网络时遇到的困难，成功实现了数据降维并获得了良好的效果。提出了深度置信网络DBN(Deep Bel-ief Network )模型，如右图所示。[4]网络学习问题简化为多个RBM的分层训练问题，解决了深度网络 训练中的高复杂度问题。同时，该方法还具有良好的可视化性能。该工作的诞生掀起了神经网络走向深层的发展浪潮。

二、深度学习的技术和存在的问题

1．技术发展的原因

神经网络走向深层、各种深度学习技术再次如雨后春笋般地涌现绝非偶然，这主要得益于三个方面：1）、在大数据时代的海量数据的到来使得深度神经网络这种大容量复杂模型有了用武之地，大量廉价的训练数据解决了早期深度神经网络由于训练样例不足而常常出现地过拟合、泛化能力差等问题；2）是神经网络的训练技巧的大量涌现，各种深度学习算法不断完善，包括初值选择、新的非线性映射函数的提出、防止过拟合的随机丢弃技术等；三是计算能力的大幅提升，CPU/GPU计算能力的大幅提升，多核、集群、大容量内存、并行技术的广泛应用为深度学习技术开发提供了硬件平台。社会的发展和计算机软件硬件领域的进步共同引爆了深度学习的再次高潮。

 

2．深度学习技术的发展和实例

在神经网络走向深度的过程中，在2010年，美国国防部DARPA计划首次资助深度学习项目,成为深度学习高潮来临的标志。然后2011年，微软和google研究人员先后采用深度学习技术降低语音识别错误率20%-30%，2013面百度创始人兼ceo李彦宏高调宣布成立百度研究院，其第一个重点项目就是深度学习，2013年4月《麻省理工学院技术评论》杂志将深度学习列为2013年十大突破性技术之首。2016年，谷歌（Google）旗下DeepMind公司开发的一款围棋人工智能程序在与世界围棋冠军职业9段选手李世石的对战中以4:1的总比分获胜，使深度学习家喻户晓。除此之外，深度学习在人脸识别，图像处理，声音识别等各领域得到飞速发展。

 

3.深度学习基本原理

诚然深度学习的算法有很多，但原理是没有改变的。以图像识别为例，图像识别的深度学习是为了训练一个函数。这个函数当以同一类的图片为参数时得到的结果应尽可能的相同。训练的过程就是确定这个函数的过程。而这个过程如下图：

将图片通过过滤器不断地降低分辨率同时得到更多的图片，最终形成一个图片集，这个图片集包含从最初图片到将图片抽象到一个点的所有信息。对所有信息进行处理确定函数。而对信息进行处理是在每一层上进行的如上图，共有7层分别为INPUT,C1,S2,C3,S4,C5,F6,OUTPUT。而在每一层中参数都会向上和向下传播，如右图所示[5]。我们假设一个函数为ax+by+cz+…= k，一张图片上的信息是x,y,z…。我们的任务是调整a,b,c…使同类图片的值都为k，当然函数要复杂的多。

 

4.深度学习存在的问题

         神经网络发展至今经历了起起伏伏，每一次高潮之后都会因为各种不能解决的问题迎来低谷。随着社会的发展，这些问题被解决了，又会出现新的问题。虽然现在的神经网络的发展飞快，但也存在着严重的问题。

最为严重的问题是理论研究问题，深度学习发展至今仍然没有系统的理论说明使用多少训练样本，调用多少计算资源才能够获得有学习能力的足够好的深度模型。同时理论支撑的缺乏使得我们难以评价所设计的深度模型是否最优。其次，要使深度学习的众多参数收敛需要巨大的计算资源，为了提高计算效率，大规模并行计算势在必行，但目前成熟的DNN技术难以进行并行计算，导致训练时间极为漫长。再次，深度学习相较于人脑，规模还不够大，我们的硬件系统还需要更大的发展才能足够的支撑起深度学习的平民化。

三、展望和社会效应

         在当前阶段深度学习已经成为计算机界的热潮。深度学习的发展誓在必行。阿法狗带给社会的震惊将在未来几年变得习以为常。如果以深度学习为根基的人工智能能够研制成功。整个社会的组成结构都将发生翻天覆地的变化，人类也有望从简单的重复劳动中彻底解脱出来。机器的概念将不再只是人类使用的工具。但同时我们世代形成的道德观念将面临最严重的冲击。大量的劳动力解放将成为最严重的社会问题。我们对资源的开发力度可以大大增强，但资源总量有限的矛盾将成为所有人关注的问题。任何技术都有两面性，而发展是必然的[6]，我们应积极的面对，并做好预防准备。

 

参考文献：

[1]李艺颖.人工智能的新浪潮——深度学习[J].网友世界. 2013(Z2)

[2]RosenblattF. The perceptron: a probabilistic model for information storage andorganization on the brain[J]. Psycholo-gical Review,1958,65(6):386-408

[3]百度百科：神经网络算法http://baike.baidu.com/link?url=nUIdO7bsdH0VP8-us5p9uZqP_0b

dDYLhONcPnQjyAnNLWqZHu2oDURc8_w4pDM48

[4]李轶南；, 张雄伟；,李治中；, 吴海佳；,孙久皓；. 第1讲 深度学习:开启人工智能的新纪元 [J]. 军事通信技术, 2015,(04)

[5]图片来源百度百科：深度学习http://baike.baidu.com/link?url=gaPAaM67JKK6QK5w_sbyH

H4r1kTYuR5Xmf5vz3REupBJDwXt3RPYDm9cgx1xNi8n3DFAyCeCLWdSldw9eAt98q

[6]韩小谦.  技术发展的必然性与社会控制[D]. 中国人民大学2003