什么是归纳偏置(Inductive bias)

知乎用户 rA9aoM 的解答：

回答链接 ：https://www.zhihu.com/question/264264203/answer/1085271521

No-Free-Lunch 不存在免费午餐理论提出：学习是不可能的，除非有先验知识。通常情况下，我们不知道具体上帝函数的情况，但我们猜测它属于一个比较小的假设类别之中，这种基于先验知识对目标模型的判断就是Inductive bias-归纳误差。归纳误差所做的事情，是将无限可能的目标函数约束在一个有限的假设类别之中，这样，模型的学习才成为可能。

如果给出更加宽松的模型假设类别，即使用更弱的Inductive bias，那么我们更有可能得到强力模型-接近目标函数f。损失由近似损失和估计损失组成，这样做虽然减少了近似损失，但会增大估计损失，模型将更加难以学习，更容易过拟合。

参考链接：https://new.qq.com/rain/a/20211214A03DKG00