机器学习,是人工智能的核心研究领域之一,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机如何模拟或者实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身性能。对人本身认识自己,也有反馈借鉴意义。
1980 年夏天,在美国卡内基梅隆大学举行了第一届机器学习研讨会。同年,《策略分析与信息系统》连出三期机器学习专辑。1983 年,Tioga出版社出版了R.S. Michalski、J.G. Carbonell和T.M.Mitchell主编的《机器学习:一种人工智能途径》,书中汇集了 20 位学者撰写的 16 篇文章,对当时的机器学习研究工作进行了总结,产生了很大反响。1986 年,《Machine Learning》创刊。1989 年,《Artificial Intelligence》出版了机器学习专辑,刊发了一些当时比较活跃的研究工作,其内容后来出现在J.G. Carbonell主编、MIT出版社 1990 年出版的《机器学习:风范与方法》一书中。20 世纪 80 年代是机器学习成为一个独立的学科领域并开始快速发展、各种机器学习技术百花齐放的时期。
机器学习已经有了十分广泛的应用,例如:数据挖掘、机器视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断专家系统、检测信息诈骗、证券市场分析、DNA序列测序、语音和手写识别、战略游戏、自动驾驶和机器人运用。
机器学习策略:机械学习、传授学习、类比学习、通过事例学习。
1)机械学习(Rote learning)
机械学习就是记忆,即把新的知识存储起来,供需要时检索调用,而不是计算和推理。
对于机械学习,需要注意3个重要的问题:存储组织信息,稳定性和存储与计算之间的权衡。
a) 存储组织信息。显然,只有当检索一个项目的时间比重新计算一个项目 的时间短时,机械学习才有意义,检索的越快,其意义也越大。因此,采用适当的存储方式,使检索速度尽可能地快,是机械学习中的重要问题。在数据结构与数据库领域,为提高检索速度,人们研究了许多卓有成效的数据存储方式,如索引、排序、杂凑等在机械学习中我们可以充分利用这些成果来实现需求。例如:大部分传统网站系统,淘宝、京东,QQ都是此类应用,数据获取、存储、应用。
b)环境的稳定性与存储信息的适用性问题。在急剧变化的环境下机械学习策略是不适用的。作为机械学习的一个重要假定是在某一时刻存储的信息必须适用于后来的情况。如果信息变换得特别频繁,这个假定就不成立了。
c)存储与计算之间的权衡。因为机械学习的根本目的是改进系统的执行能力,因此对于机械学习来说很重要的一点是它不能降低系统的效率。如果检索一个数据比重新计算一个数据所花的时间还要多,那么机械学习就失去了意义。
2)传授学习(Learning from instruction 或 Learning by being told)
学生从环境(教师或者其他渠道如教科书等)获取信息,把知识转换成内部可使用的表达形式,并将新的知识与原有知识结合为一体。所以要求学生有一定程度的推理能力,但环境仍要做大量的工作。教师以某种形式提出和组织知识,以使学生拥有的知识可以不断地增加。不少专家系统在建立知识库时使用这种方法去实现知识获取。
3)演绎学习(Learing by deduction)
所谓演绎法或称演绎推理(Deductive reasoning)是指人们以一定的反映客观规律的理论认识为依据,从服从该认识的已知部分推知事物的未知部分思维方法。是由一般到个别的认识方法。演绎推理有三段论、假言推理和选言推理等形式。
(1)三段论
三段论,是指由两个简单判断作前提,和一个简单判断作结论组成的推理。三段论中包含三部分:一是大前提;二是小前提;三是结论。
例如:机器学习属于人工智能,人工智能是社会进步的发动机,结论,机器也是社会进步的发动机,不言而喻。
(2)假言推理
假言推理分为充分条件假言推理和必要条件假言推理两种。
A、充分条件假言推理的基本原则:小前提肯定大前提的前件,结论就肯定大前提的后件;
如果要搞人工智能,就必须学习编程;我们要搞人工智能,所以我们要学习编程。
小前提否定大前提的后件,结论就否定大前提的前件。
如果一个图形是正方形,那么它的四边相等;这个图形四边不相等,所以它不是正方形。
B、必要条件假言推理的基本条件是:
小前提肯定大前提的后件,结论就要肯定大前提的前件;
只有营养充足,青菜才能长得好;这块地的青菜长得好,所以,这块地营养充足。
小前提否定大前提的后件,结论就要否定大前提的后件。
煮饭时,只有达到一定温度,饭才能熟;这次温度没有达到一定的温度,所以饭没有熟。
(3)选言推理
选言推理是以选言判断为前提的推理。
选言推理分为相容的选言推理和不相容的选言推理两种。
A、相容的选言推理的基本原则是:大前提是一个相容的选言判断,小前提否定了其中一个,结论就要肯定剩下的一个。
B、不相容的选言推理的基本原则:大前提是个不相容的选言判断,小前提肯定其中的一个选言,结论则否定其他的选言。小前提否定除其中一个以外的选言,结论则肯定剩下的那个选言支。
一个词,或者是褒义的、或者是贬义的,或者是中性的。“结果”是个中性词,所以,“结果”不是褒义词,也不是贬义词。
二维空间中,一个三角形,或者是锐角三角形,或者是直角三角形。这个三角形不是锐角三角形和直角三角形,所以他是钝角三角形。
4)类比学习(Learning by analogy)
类比学习是把两个或两类事物或情形进行比较,找出它们在某一对象层上的相似关系,并以这种关系为依据,把某一事物或情形的有关知识加以适当整理(或交换对应到某一事物或情况,从而获取求解另一事物或情形的知识)
5)基于解释的学习(Explanation-based learning,ERL)
通过运用相关领域知识,对当前的实例进行分析,从而构造解释并产生相应知识的一种学习方法。通过运用相关领域知识及一个训练实例来对某一目标概念进行学习,并最终生成这个目标概念的一般描述。
6)归纳学习(Learning from induction)
归纳学习旨在从大量的经验数据中归纳抽取一般的判定规则和模式,是从特殊推导出一般规则的学习方法。