机器学习 Chapter 1 绪论

**机器学习 **：在计算机上从数据中产生“模型”（model）的算法，即“学习算法”

泛化：学得模型适用于新样本的能力

假设空间：若“色泽”、“根蒂”、“敲声”分别有3、3、3种可能取值，则假设空间规模大小为4 * 4 * 4 + 1 = 65

1. 实际可能取值+无论什么值都可

2. 极端情况 概念不成立 空集

   
   
   

版本空间：与训练集一致的“假设集合”

归纳偏好（inductive bias）：机器学习算法在学习过程中对某种类型假设的偏好

奥卡姆剃刀（Occam's razor）:若有多个假设与观察一致，则选最简单的那个

[学习算法自身的归纳偏好与问题是否相配，起到决定性作用][null]
[null]: chrome://not-a-link_just-for-text-color

No Free Lunch Theorem (NFL)：若所有问题同等重要，则各算法的期望性能（总误差）相同