机器学习（一）——发展历程

机器学习（一）——发展历程

引言

人工智能（英语：artificial intelligence，缩写为AI）究竟是什么？目前难以精确定义

人工智能于一般教材中的定义领域是“智能主体（intelligent agent）的研究与设计”，智能主体指一个可以观察周遭环境并作出行动以达致目标的系统。约翰·麦卡锡于1955年的定义是“制造智能机器的科学与工程”。安德烈亚斯·卡普兰（Andreas Kaplan）和迈克尔·海恩莱因（Michael Haenlein）将人工智能定义为“系统正确解释外部数据，从这些数据中学习，并利用这些知识通过灵活适应实现特定目标和任务的能力”。

人工智能的研究是有着高度技术性和专业性的，各分支领域都是深入且各不相通的，因此，人工智能的范围极其广泛，分支领域非常之多，各个分支领域也都较为深入，

• 强人工智能与弱人工智能

强人工智能认为“有可能”制造出“真正”能推理和解决问题的智能机器，并且，这样的机器将被认为是具有知觉、有自我意识的。强人工智能可以有两类：

人类的人工智能，即机器的思考和推理就像人的思维一样。
非人类的人工智能，即机器产生了和人完全不一样的知觉和意识，使用和人完全不一样的推理方式。
弱人工智能

弱人工智能认为“不可能”制造出能“真正”地推理和解决问题的智能机器，这些机器只不过“看起来”像是智能的，但是并不真正拥有智能，也不会有自主意识。

弱人工智能是对比强人工智能才出现的，因为人工智能的研究一度处于停滞不前的状态下，直到类神经网络有了强大的运算能力加以模拟后，才开始改变并大幅超前。但人工智能研究者不一定同意弱人工智能，也不一定在乎或者了解强人工智能和弱人工智能的内容与差别，对定义争论不休。

就当下的人工智能研究领域来看，研究者已大量造出“看起来”像是智能的机器，获取相当丰硕的理论上和实质上的成果，如2009年康乃尔大学教授Hod Lipson 和其博士研究生Michael Schmidt 研发出的 Eureqa计算机程序，只要给予一些资料，这计算机程序自己只用几十个小时计算就推论出牛顿花费多年研究才发现的牛顿力学公式，等于只用几十个小时就自己重新发现牛顿力学公式，这计算机程序也能用来研究很多其他领域的科学问题上。这些所谓的弱人工智能在神经网络发展下已经有巨大进步，但对于要如何集成成强人工智能，现在还没有明确定论。

另外，弱人工智能并非和强人工智能完全对立，也就是说，即使强人工智能是可能的，弱人工智能仍然是有意义的。至少，今日的计算机能做的事，像算术运算等，在一百多年前是被认为很需要智能的。并且，即使强人工智能被证明为可能的，也不代表强人工智能必定能被研制出来。

AI的核心问题包括建构能够跟人类似甚至超卓的推理、知识、规划、学习、交流、感知、移物、使用工具和操控机械的能力等。人工智能目前仍然是该领域的长远目标。目前弱人工智能已经有初步成果，甚至在一些影像识别、语言分析、棋类游戏等等单方面的能力达到了超越人类的水平，而且人工智能的通用性代表着，能解决上述的问题的是一样的AI程序，无须重新开发算法就可以直接使用现有的AI完成任务，与人类的处理能力相同，但达到具备思考能力的统合强人工智能还需要时间研究，比较流行的方法包括统计方法，计算智能和传统意义的AI。目前有大量的工具应用了人工智能，其中包括搜索和数学优化、逻辑推演。而基于仿生学、认知心理学，以及基于概率论和经济学的算法等等也在逐步探索当中。

机器学习，是人工智能的一个分支，也是人工智能发展到一个阶段的必然产物

发展历程

简单的说，人工智能的发展历程分为推理期（二十世纪五十年代到七十年代初），连接主义与符号主义萌芽（二十世纪五十年代中后期），知识期（二十世纪七十年代中期），机器学习初步成熟与连接主义进一步发展（二十世纪八十年代），统计学习（二十世纪九十年代中期），连接主义与深度学习大显身手（二十一世纪），

二十世纪五十年代到七十年代初，人工智能研究处于**“推理期”**，那时人们以为只要能赋予机器逻辑推理能力，机器就能具有智能.这一阶段的代表性工作主要有A. Newell 和H. Simon 的"逻辑理论家" (Logic Theorist)程序以及此后的"通用问题求解" (General Problem Solving)程序等，这些工作在当时取得了令人振奋的结果.例如"逻辑理论家"程序在1952 年证明了著名数学家罗素和怀特海的名著《数学原理》中的38 条定理7 在1963 年证明了全部52条定理，特别值得一提的是，定理2.85 甚至比罗素和怀特海证明更巧妙. A.Newell 和H. Simon 因为这方面的工作获得了1975 年圈灵奖.

然而?随着研究向前发展，人们逐渐认识到，仅具有逻辑推理能力是远远实现不了人工智能的-E. A. Feigenbau日1 等人认为，要使机器具有智能?就必须设法使机器拥有知识

“知识就是力量”

在他们的倡导下，从二十世纪七十年代中期开始，人工智能研究进入了**“知识期”**在这一时期，大量专家系统问世，在很多应用领域取得了大量成果.E.A.Feigenbaum 作为"知识工程"之父在1994 年获得图灵奖.但是，人们逐渐认识到，专家系统面临"知识工程瓶颈"，简单地说，就是由人来把知识总结出来再教给计算机是相当困难的.于是，一些学者想到，如果机器自己能够学知识该多好!

事实上，图灵在1950 年关于图灵测试的文章中?就曾提到了机器学习的可能;二十世纪五十年代初已有机器学习的相关研究，五十年代中后期 基于神经网络的"连接主义" (conncctionism) 学习开始出现，代表性工作有F. Rosenblatt 的感知机(Perceptron) 、B. Widrow 的Adaline 等.在六七十年代，基于逻辑表示的"符号主义" (symbolism)学习技术建勃发展，代表性王作有P. Winston 的"结构学习系统"、R. S. Michalski等人的"基于逻辑的归纳学习系统’人E. B. Hunt 等人的"概念学习系统"等;以决策理论为基础的学习技术以及强化学习技术等也得到发展，代表性份工作有N. J. Nilson 的"学习机器"等·二十多年后红极一时的统计学习理论的一些奠基性结果也是在这个时期取得的.IWIVIL 后来发展为国际机器学习会议ICIVIL

1980 年夏，在美国卡耐基梅隆大学举行了第一届机器学习研讨会(IWML);同年， ((策略分析与信息系统》连出三期机器学习专辑; 1983 年， Tioga 山版社出版了R. S. Michalski、J. G. Carbonell 和T. Mitchell 主编的《机器学习:一种人工智能途径)) [Michalski et al., 1983] ，对当时的机器学习研究工作进行了
总结; 1986 年7 第→本机器学习专业期刊Machine LeαTηing 创刊; 1989 年，人工智能领域的权威期刊Artificial Intelligence 出版机器学习专辑，刊发了当时一些比较活跃的研究工作，其内容后来出现在J. G. Carbonell 主编、MIT 出版社1990 年的《机器学习:范型与方法》[Carbonell, 1990] 一书中.总的来看，二十世纪八十年代是机器学习成为一个独立的学科领域、各种机器学习技术百花初绽的时期.

R. S. Michalski 等人[Michalski et al., 1983] 把机器学习研究划分为"从样例中学习" “在问题求解和规划中学习” “通过观察和发现学习” “从指令中学习"等种类; E. A. Feigenbaum 等人在著名的《人工智能手册>> (第二卷)[Cohen and Feigenbau日1 ， 1983] 中，则把机器学习划分为"机械学习” “示教学习” “类比学习"和"归纳学习"机械学习亦称"死记硬背式学习”，即把外界输入的信息全部记录下来，在需要时原封不动地取出来使用?这实际上没有进行真正的学习?仅是在进行信息存储与检索;示教学习和类比学习类似于R. S. Michalski 等人所说的"从指令中学习"和"通过观察和发现学习"归纳学习相当于"从样例中学习"，即从训练样例中归纳出学习结果.二十世纪八十年代以来，被研究最多、应用最广的是"从样例中学习" (也就是广义的归纳学习) ，它涵盖了监督学习、无监督学习等，这也是我们主要的介绍领域

在二十世纪八十年代，“从样例中学习"的一大主流是符号主义学习，其代表包括决策树(decision tree)和基于逻辑的学习.典型的决策树学习以信息论为基础，以信息娟的最小化为目标，直接模拟了人类对概念进行判定的树形流程.基于逻辑的学习的著名代表是归纳逻辑程序设计(Inductive Logic
Programming，简称ILP) ，可看作机器学习与逻辑程序设计的交叉，它使用一阶逻辑(即谓词逻辑)来进行知识表示，通过修改和扩充逻辑表达式(例如Prolog表达式)来完成对数据的归纳.符号主义学习占据主流地位与整个人工智能领域的发展历程是分不开的.前面说过，人工智能在二十世纪五十到八十年代经历了"推理期"和"知识期”，在"推理期"人们基于符号知识表示、通过演绎推理技术取得了很大成就，而在"知识期"人们基于符号知识表示、通过获取和利用领域知识来建立专家系统取得了大量成果，因此，在"学习期"的开始?符号知识表示很自然地受到青睐.事实上，机器学习在二十世纪八十年代正是
被视为"解决知识工程瓶颈问题的关键"而走上人工智能主舞台的.决策树学习技术由于简单易用，到今天仍是最常用的机器学习技术之一. ILP 具有很强的知识表示能力，可以较容易地表达出复杂数据关系，而且领域知识通常可方便地通过逻辑表达式进行描述，因此， ILP 不仅可利用领域知识辅助学习，还可通过学习对领域知识进行精化和增强;然而，成也萧何、败也萧何，由于表示能
力太强，直接导致学习过程面临的假设空间太大、复杂度极高，因此，问题规模
稍大就难以有效进行学习。九十年代中期后这方面的研究相对陷入低潮

二十世纪九十年代中期之前，“从样例中学习"的另一主流技术是基于神经网络的连接主义学习.连接主义学习在二十世纪五十年代取得了大发展，但因为早期的很多人工智能研究者对符号表示有特别偏爱?例如图灵奖得主ESimon 曾断言人工智能是研究"对智能行为的符号化建模”，所以当时连接主义的研究未被纳入主流人工智能研究范畴.尤其是连接主义自身也遇到了很大的障碍?正如图灵奖得主M. Minsky 丰11 S. Papert 在1969 年指出， (当时的)神经网络只能处理线性分类7 甚至对"异或"这么简单的问题都处理小了. 1983 年，J. J. Hopfield 利用神经网络求解"流动推销员问题"这个著名的NP 难题取得重大进展，使得连接主义重新受到人们关注. 1986 年， D. E. Rumelhart 等人重新发明了著名的BP 算法，产生了深远影响.与符号主义学习能产生明确的概念表示不同，连接主义学习产生的是"黑箱"模型，因此从知识获取的角度来看?连接主义学习技术有明显弱点;然而，由于有BP 这样有效的算法，使得它
可以在很多现实问题上发挥作用.事实上， BP 一直是被应用得最广泛的机器学习算法之一.连接主义学习的最大局限是其"试错性’p; 简单地说?其学习过程涉及大量参数，而参数的设置缺乏理论指导，主要靠于工"调参"夸张一点说，参数调节上失之毫厘，学习结果可能谬以千里

二十世纪九十年代中期"统计学习" (statistical learning) 闪亮登场并迅速占据主流舞台，代表性技术是支持向量机(Support Vector Machine，简称SVM) 以及更一般的"核方法" (kernel methods). 这方面的研究早在二十世纪六七十年代就已开始，统计学习理论[Vapnik， 1998] 在那个时期也已打下了基础?例如V. N. Vapnik 在1963 年提出了"支持向量"概念，他和A. J.Chervonenkis 在1968 年提出VC 维，在1974 年提出了结构风险最小化原则等.但直到九十年代中期统计学习才开始成为机器学习的主流，一方面是由于有效的支持向量机算法在九十年代初才被提出，其优越性能到九十年代中期在文本分类应用中才得以显现;坤一方面，正是在连接主义学习技术的局限性凸显之后，人们才把目光转向了以统计学习理论为直接支撑的统计学习技术.事实上，统计学习与连接主义学习有密切的联系.在支持向量机被普遍接受后，核技巧(kernel trick) 被人们用到了机器学习的几乎每一个角落，核方法也逐渐成为
机器学习的基本内容之一.

有趣的是，二十一世纪初，连接主义学习又卷土重来，所谓深度学习，狭义地说就是"很多层"的神经网络.在若干测试和竞赛上，尤其是涉及语音、图像等复杂对象的应用中，深度学习技术取得了优越性能.以往机器学习技术在应用中要取得好性能，对使用者的要求较高;而深度学习技术涉及的模型复杂度非常高，以至于只要下工夫"调参把参数调节好?性能往往就好.因此，深度学习虽缺乏严格的理论基础，但它显著降低了机器学习应用者的门槛，为机器学习技术走向工程实践带来了便利.那么?它为什么此时才热起来呢?有两个基本原因:数据大了、计算能力强了，学习模型拥有大量参数，若数据样本少，则很容易"过拟合".如此复杂的模型、如此大的数据样本7 若缺乏强力计算设备，根本无法求解.恰由于人类进入了"大数据时代“技术焕发又一春.

应用现状

在过去二十年中，人类收集、存储、传输、处理数据的能力取得了飞速提升，人类社会的各个角落都积累了大量数据，亟需能有效地对数据进行分析利用的计算机算法?而机器学习恰顺应了大时代的这个迫切需求，因此该学科领域很自然地取得巨大发展、受到广泛关注.今天?在计算机科学的诸多分支学科领域中?无论是多媒体、图形学，还是网络通信、软件工程，乃至体系结构、芯片设计?都能找到机器学习技术的身影，尤其是在计算机视觉、自然语言处理等"计算机应用技术"领域，机器学习已成为最重要的技术进步源泉之一.机器学习还为许多交叉学科提供了重要的技术支撑.例如"生物信息学"试图利用信息技术来研究生命现象和规律，而基因组计划的实施和基因药物的美好愿景让人们为之心潮薛湃.生物信息学研究涉及从"生命现象"到"规律发现"的整个过程，其间必然包括数据获取、数据管理、数据分析、仿真实验等环节，而"数据分析"恰是机器学习技术的舞台，各种机器学习技术已经在这个舞台上大放异彩.