周志华《机器学习》第一章读书笔记以及课后习题答案

读书笔记

1.根据训练数据是否拥有标记信息，学习任务可大致分两类

学习任务	代表
监督学习	分类，回归
无监督学习	聚类

2.学得模型适用于新样本的能力，称为“泛化”能力。

3.假设空间和版本空间
例题的假设空间由3部分组成
①色泽，根蒂，敲声分别有3,3,3种取值
②色泽，根蒂，敲声取什么值都合适，我们使用通配符“*”来表示，所以取值分别用1,1,1表示
③还有一种极端情况，有可能“ 好瓜 ”这个概念根本就不成立，世界上压根就没有“好瓜”这种东西，我们用Ø表示这个假设
所以假设空间大小规模
（3+1）×（3+1）×（3+1）+1=65
现实问题中我们常面临很大的假设空间，但学习过程是基于有限样本训练集进行的，因此有可能有多个假设与训练集一致，即存在着一个与训练集一致的“假设集合”，我们称之为“版本空间（version space）”。

4.机器学习算法在学习过程中对于某种类型假设的偏好，称为“归纳偏好”（inductive bias）或简称为“偏好”

5.奥斯姆剃刀（Occam‘s razor）是一种常用的、自然科学研究中最基本的原则，则“若有多个假设与观察一致，则选最简单的那个”

6.没有免费午餐定理（NFL定理）

书上证明较简单，建议自己手动推一下。
浅谈NFL没有免费的午餐定理

7.机器学习领域重要会议和期刊
最重要的国际学术会议是国际机器学习会议（ICML）、国际神经信息处理系统（NIPS）和国际学习理论会议（COLT），重要的区域性会议主要有欧洲机器学习会议（ECML）和亚洲机器学习会议（ACML）；最重要的国际学术期刊是Journal of Machine Learning Research和Machine Learning等等

课后习题答案

如有不对的地方，请不吝赐教
1.1与训练集一致的“假设集合”我们称之为版本空间
版本空间的求法为便利假设空间，不断的删除与正例不一致的假设、和（或）与反例一致的假设（即与表不吻合的假设）数据集
若只包含样例1和4，则色泽，根蒂，敲声分别有两种取值，则空间大小的规模为（2+1）×（2+1）×（2+1）+1=28
遍历所有的假设空间，根据以上的规则，得到版本空间为7个

1.2参考《机器学习》周志华第一章课后习题

1.3既然数据中包含噪声，最直接的思路就是首先去除噪声。去噪方法：若存在两个样例属性取值都相同，标记却不同，则只保留标记为正例的样例（或标记为反例的样例，也可以考虑更加复杂的筛选方法，比如统计相似样例的标记），在此基础上求出版本空间。
也可以考虑其他方法：
1.在求版本空间时，只除去与反例不一致的假设。
2.求版本空间时，只留下包含了所有正例的假设。

1.4证明

1.5对搜索进行优化，对垃圾网站进行识别等
参考 机器学习能在互联网搜索的哪些环节起什么作用