西瓜书浅读
西瓜书浅读
第一二章
前言：
笔者最开始接触机器学习这个词语时，很是费解，机器如何学习？在笔者以往经验中，学习是有机生物体才有拥有的能力。然而冷冰冰的机器可以拥有学习能力，着实对笔者的世界观产生了一定的冲击（正因如此，当了解机器学习概念之后，就有了一种发现新大陆的感觉）。当明白机器学习的本质之后，才恍然大悟，原来笔者自己从来也没有对学习的本质进行过深入的思考，学习机器学习的同时，也加深了我对学习本质的理解。
1、起源与发展
1.1起源
机器学习的起源可以追溯到17世纪，贝叶斯、拉普拉斯关于最小二乘法的推导和马尔可夫链，这些构成了机器学 习广泛使用的工具和基础。艾伦.图灵第一个提议建立一个学习机器。
1.2发展
1.2.1第一阶段
机器学习，即可以提供计算机能力而无需显式编程的研究领域。这一术语最开始由亚瑟·塞缪尔（Arthur Samuel）提出。基于此定义他编写了一个跳棋程序，他所编写的程序用的是填鸭式学习，即程序将记住以前游戏中的好走法。就像人们为了能够增强自己的下棋能力，会反复与下棋，并在重复过程中获取经验以提升自己的下棋能力。同样，Samuel也有不同版本的程序互相竞争，当然也有与真人的博弈。程序在博弈过程中积累经验并获得启发。Samuel发现，伴随着该游戏训练次数的增加，程序可以实现越来越好的学习效果。最终该跳棋程序在击败了康涅狄格州的跳棋冠军。Samuel跳棋程序的重要意义在于，人们将这个程序视为合理人工智能技术的研究和应用的早期模型。Samuel的工作代表了在机器学习领域最早的研究。Samuel曾思考使用神经网络方法学习博弈的可能性，但是最后决定采用更有组织、更结构化的网络方式进行学习。
1.2.2第二阶段
第二阶段主要研究将各个领域的知识应用到系统里，在本阶段的目的是通过机器模拟人类学习的过程。同时还采用了图结构及其逻辑结构方面的知识进行系统描述，在这一研究阶段，主要是用各种符号来表示机器语言，研究人员在进行实验时意识到学习是一个长期的过程，从这种系统环境中无法学到更加深入的知识，因此研究人员将各专家学者的知识加入到系统里，经过实践证明这种方法取得了一定的成效。在这一阶段具有代表性的工作有Hayes-Roth和Winson的对结构学习系统方法。
1.2.3第三阶段
在第三阶段，已开始把学习系统与各种应用结合起来，并取得很大的成功。同时，专家系统在知识获取方面的需求也极大地刺激了机器学习的研究和发展。这得益于归纳逻辑程序设计，知识获取问题是智能系统性能和应用水平得以提高的主要障碍。归纳逻辑程序设计是机器学习与逻辑程序设计的交叉领域，它借助于逻辑程序设计已有的理论与方法，在一阶逻辑的框架下，试图克服传统机器学习存在的问题，建立新的机器学习体系，使机器更好地模拟人的思维。在出现第一个专家学习系统之后，示例归纳学习系统成为研究的主流，自动知识获取成为机器学习应用的研究目标。1980 年，在美国的卡内基梅隆(CMU)召开了第一届机器学习国际研讨会，标志着机器学习研究已在全世界兴起。此后，机器学习开始得到了大量的应用。
1.2.4第四阶段
从20世纪80年代中叶到现在,是机器学习的最新阶段。此时的机器学习具有如下特点：
(1)机器学习已经发展成多领域交叉的学科，综合各个领域的知识。
现在机器学习可以应用在各个领域，自然而然也会触及到该领域的知识。比如其基础理论涉及概率论、统计论、逼近论、凸分析、计算复杂性理论等多门学科。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。若是把机器学习应用到具体计算机视觉，自然语言处理等方面中去，还有需要心理学、语言学、哲学、神经科学、人工心理学等等方面的知识理论。
(2)机器学习与人工智能各种基础问题的统一性观点正在形成。
说到机器学习，往往会提到另外两个与之密切的概念——人工智能和深度学习。机器学习是人工智能的分支，是使计算机具有智能的根本途径。换句话说，机器学习是人工智能的核心部分。而深度学习是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。
(3)各种学习方法的应用范围不断扩大，部分应用研究成果已落实到产品。
应用方向有数据分析与挖掘、模式识别、虚拟助手等等。具体点的，就比如我们通过摄像头测体温，手机电脑的语音助手等等
(4)与机器学习有关的学术活动目前已经是空前活跃。（例如笔者此刻正在学习机器学习）