归纳偏好

机器学习中,一个学习算法也会有一个前提假设,这里被称作“归纳偏执 (bias)”

没有归纳偏执或者归纳偏执太宽泛会导致 Overfitting

限制过大的归纳偏执也是有问题的:如果数据本身并不是线性的,强行用线性函数去做回归通常并不能得到好结果 uperFitting

“奥卡姆剃刀” Occam's razor: 若有多个假设与观察一致,则选最简单的那个

“”没有免费的午餐“ No Free Lunch Theorem定理: 总误差与学习算法无关,它们的期望性能相同。(NFL前提:所有“问题”出现的机会相同,或所有问题同等重要,但实际情形并不是这样)

NFL定理最重要的寓意:脱离具体问题,空泛的谈论“什么学习算法更好”毫无意义。因为若考虑所有潜在的问题,则所有学习算法都一样好,要谈论算法的相对优劣,必须要针对具体的学习问题,在某些问题上表现好的学习算法,在另一些问题上却可能不尽如人意。学习算法自身的归纳偏好与问题是否相配,往往会起到决定性的作用。

你可能感兴趣的:(归纳偏好)