机器学习（西瓜书）--第一章绪论

本书主要介绍从数据获取结果：

代码：https://github.com/Tsingke/Machine-Learning_ZhouZhihua

课后习题：https://blog.csdn.net/snoopy_yuan/article/details/62045353

https://blog.csdn.net/icefire_tyh/article/details/52064910

 

Machine Learning:第一张主要是一些背景知识，所以简单介绍一些概念；

模型（model）：指全局性结果（如一棵决策树）；模式：指局部性成果（如一条规则）；

 

第一部分：基本术语：

数据集：data set

样本：sample/instance

特征/属性：feature/attribute-- 属性空间 attribute space， 特征向量 feature vector

训练样本/示例：training data/instance-- 训练集：training set

测试数据/示例: testing data/instance-- 测试集：testing set

聚类：clustering

监督学习：supervised learning-- 无监督学习 unsupervised learning

泛化能力：generalization ，学习模型适应于新样本的能力；

 

第二部分：假设空间（hypothesis space）

归纳：induction，从特殊到一般的过程；从样例中学习；

演绎：deduction，从一般到特殊的过程；

学习的过程可以看作，在所有假设组成的空间里进行搜索的过程，搜索的目标是找到与训练集匹配（fit）的假设。

对于是否是好瓜，我们从色泽、根蒂、敲声三个维度进行考量，有以下训练集：

 

        好瓜(色泽=?)^ (根蒂 =?) ^(敲声 =?) ,假设每个属性有三个值，比如色泽（青绿、乌黑、浅白），那么有四种可能（青绿、乌黑、浅白+任何色泽都不影响）,则一共有4*4*4+1=65中可能性,即假设空间。+1是指根本不存在好瓜的概念。

       版本空间（version space）：当面临很大的假设空间，但是学习是基于有限的样本，则与训练集一致的假设空间，称作版本空间。

 

第三部分：归纳偏好

任何算法必有其归纳偏好，否则会被假设空间里看似“等效”的假设迷惑，无法产生确定的学习结果。

比如，对于相似的样本有相似的输出，对应的学习算法可能偏好于"平滑"的曲线A,而不是“崎岖”的曲线B;

Occam's razor(奥卡姆剃刀)：若有多个假设与观察一致，选择最简单的那个；如图1.3，A具有更好的泛化能力。

 

然而完全有可能存在1.4情况，在（b）里算法B优于算法A;

 

No Free Lunch Theorem(NFL定理)没有免费的午餐：在所有问题出现机会相同、且同等重要时，所有算法的期望值都是相同的。

 

然而实际情况不是如此，定理最重要的寓意是，脱离具体问题，空泛谈论什么算法更好毫无意义；

 

第四部分：发展历史

机器学习是人工智能研究到一定阶段必然产物。

4.1 人工智能

20世纪50~70年代，逻辑推理期

    50年代中后期，基于神经网络的连接主义（connectionism），60~70年代符号主义（symbolism）

20世纪70年代开始，进入知识期(专家系统，人类将知识汇总给计算机)，如果机器能自己学习多好！

4.2 机器学习

    R.S.Michalski 把机器学习分为：1，从样例中学习; 2，在问题求解和规划中学习；3，通过观察和发现学习等等；

    E.A.Feigenbaum 把机器学习分为：1，机械学习；2，示教学习和类比学习；3，归纳学习（本书的范畴）

 

数据库领域的研究为数据挖掘提供数据管理技术。

机器学习和统计学研究为数据挖掘提供数据分析技术。

 

课后习题：

答：数据集有3个属性，每个属性2种取值，一共 3∗3∗3+1=28种假设。

答：

表1.1包含4个样例，3种属性，假设空间中有3∗4∗4+1=49种假设。

析合范式(disjunctive normal form)亦称析取范式一种析取式.是若干简单合取式的析取式。倒三角符号，类似取并集。

合取范式（conjunctive normal form），类似取交集。

48种假设中： 
具体假设：2*3*3=18
一个属性泛化假设：2*3+2*3+3*3 = 28
两个属性泛化假设：2+3+3=8
三属性泛化：11111\

答：若两个数据的属性一致，则将他们分为一类。

1.5.试述机器学习在互联网搜索的哪些环节起什么作用

答：推荐算法、文字图像检索算法、数据分类算法。