机器学习的发展历程

人工智能（Artificial Intelligence）从二十世纪五十年代初至今已经历过三个时期，分别如下。

时间段	发展时期	主流技术
二十世纪五十年代初至七十年代初	推理期	运用基于符号知识表示的演绎推理技术
二十世纪七十年代中期至八十年代	知识期	基于符号知识表示，通过获取和利用领域知识来建立专家系统
二十世纪八十年代至今	学习期	两大主流技术分别是符号主义学习和基于神经网络的连接主义学习

其中，机器学习（Machine Learning）的各个阶段发展历程列表如下。

时间段	机器学习理论	代表性成果
二十世纪五十年代初	人工智能研究处于推理期	A. Newell和H. Simon的“逻辑理论家”（Logic Theorist）程序证明了数学原理，以及此后的“通用问题求解”（General Problem Solving）程序。
	已出现机器学习的相关研究	1952年，阿瑟·萨缪尔（Arthur Samuel）在IBM公司研制了一个西洋跳棋程序，这是人工智能下棋问题的由来。
二十世纪五十年代中后期	开始出现基于神经网络的“连接主义”（Connectionism）学习	F. Rosenblatt提出了感知机（Perceptron），但该感知机只能处理线性分类问题，处理不了“异或”逻辑。还有B. Widrow提出的Adaline。
二十世纪六七十年代	基于逻辑表示的“符号主义”（Symbolism）学习技术蓬勃发展	P. Winston的结构学习系统，R. S. Michalski的基于逻辑的归纳学习系统，以及E. B. Hunt的概念学习系统。
	以决策理论为基础的学习技术
	强化学习技术	N. J. Nilson的“学习机器”。
	统计学习理论的一些奠基性成果	支持向量，VC维，结构风险最小化原则。
二十世纪八十年代至九十年代中期	机械学习（死记硬背式学习） 示教学习（从指令中学习） 类比学习（通过观察和发现学习） 归纳学习（从样例中学习）	学习方式分类
	从样例中学习的主流技术之一：（1）符号主义学习 （2）基于逻辑的学习	（1）决策树（decision tree）。 （2）归纳逻辑程序设计（Inductive Logic Programming, ILP）具有很强的知识表示能力，可以较容易地表达出复杂的数据关系，但会导致学习过程面临的假设空间太大，复杂度极高，因此，问题规模稍大就难以有效地进行学习。
	从样例中学习的主流技术之二：基于神经网络的连接主义学习	1983年，J. J. Hopfield利用神经网络求解“流动推销员问题”这个NP难题。1986年，D. E. Rumelhart等人重新发明了BP算法，BP算法一直是被应用得最广泛的机器学习算法之一。
	二十世纪八十年代是机器学习成为一个独立的学科领域，各种机器学习技术百花初绽的时期	连接主义学习的最大局限是“试错性”，学习过程涉及大量参数，而参数的设置缺乏理论指导，主要靠手工“调参”，参数调节失之毫厘，学习结果可能谬以千里。
二十世纪九十年代中期	统计学习（Statistical Learning）	支持向量机（Support Vector Machine，SVM），核方法（Kernel Methods）。
二十一世纪初至今	深度学习（Deep Learning）	深度学习兴起的原因有二：数据量大，机器计算能力强。