CNN中的Inductive bias(归纳偏置)

归纳偏置其实就是一种先验知识，一种提前做好的假设。

在CNN中的归纳偏置一般包括两类：①locality(局部性)和②translation equivariance（平移等变性）

①  locality:假设相同的区域会有相同的特征，靠得越近的东西相关性能也就越强。局部性可以控制模型的复杂度。

②translation equivariance：由于卷积核是一样的所以不管图片中的物体移动到哪里，只要是同样的输入进来遇到同样的卷积核，那么输出就是一样的。利用平移等变形可以很好的提高模型的泛化能力。

总结：但是使用基于CNN的方法还是存在感受野有限的问题，不能很好的建模长远的依赖关系（全局信息），而基于transformer的方法可以很好的建模全局信息但是transformer反而缺乏类似于CNN的归纳偏置，这些先验信息必须通过大量的数据来进行学习，所以小的数据在CNN上取得的效果一般优于基于transformer的方法。训练基于CNN的方法通常只需要一个较小的数据集，而训练基于transformer的方法一般需要再大的数据集上进行预训练。