机器学习（1）

机器学习的定义:利用经验积累自动改善系统自身的性能。

机器学习是“神经科学（含认知科学）+数学+计算”的有机结合，“数学“是填补“神经科学”与“计算”之间的鸿沟。

机器学习的发展概况：

       80年代中叶以前：符号主义，代表：ILP，受到传统人工智能研究的深刻影响，以逻辑推理为基础。

         80年代中叶至90年代初：连接主义，代表：NN,NN并不漂亮（至少在理论体系上远远没有ILP那么漂亮）但解决了很多实际问题。

         90年代中叶至今：统计学习，代表：SVM

NN虽然解决了不少问题，但解决问题时的“试错性”引来了批评。作为回应，统计学习开始占据支配地位，虽然SVM仍然有“试错性”，但毕竟在理论基础上比NN漂亮的多（实际上，统计学习与连接主义一脉相承）。

但是，统计学习并不是万能的，有很多问题不能解决（或不能很好地解决），例如结构化数据的学习。

机器学习的系统一般包含以下程序模块：

          执行系统：其主要功能是用学会的目标函数来解决给定的任务。

          鉴定器：它以解答路线或历史记录作为输入，输出目标函数的一系列训练样本。

         泛化器：它以训练样本作为输入，产生一个输出假设，作为它对目标函数的估计，它从特定的训练样本中泛化，猜测一个一般函数，使其能够覆盖这些样本以及样本之外的情形。

          实验生成器：它以当前的假设作为输入，输出一个新的问题供执行系统去探索。