归纳偏好

机器学习中，一个学习算法也会有一个前提假设，这里被称作“归纳偏执 (bias)”

没有归纳偏执或者归纳偏执太宽泛会导致 Overfitting

限制过大的归纳偏执也是有问题的：如果数据本身并不是线性的，强行用线性函数去做回归通常并不能得到好结果 uperFitting

“奥卡姆剃刀” Occam's razor: 若有多个假设与观察一致，则选最简单的那个

“”没有免费的午餐“ No Free Lunch Theorem定理:　总误差与学习算法无关，它们的期望性能相同。（NFL前提：所有“问题”出现的机会相同，或所有问题同等重要，但实际情形并不是这样）

NFL定理最重要的寓意：脱离具体问题，空泛的谈论“什么学习算法更好”毫无意义。因为若考虑所有潜在的问题，则所有学习算法都一样好，要谈论算法的相对优劣，必须要针对具体的学习问题，在某些问题上表现好的学习算法，在另一些问题上却可能不尽如人意。学习算法自身的归纳偏好与问题是否相配，往往会起到决定性的作用。