Transformers在数据量不足时，训练不能很好地泛化

"Transformers 缺乏 CNN 固有的一些归纳偏置 (inductive biases) —— 如 平移等效性 和 局部性 (translation equivariance and locality)，因此在数据量不足时，训练不能很好地泛化。 "中“训练不能很好地泛化”是什么意思

在上述引述中，"训练不能很好地泛化"指的是当使用较少的数据进行训练时，Transformer 模型在未见过的数据上表现不佳的情况。泛化是指模型在面对新的、未见过的数据时的能力。一个好的模型应该能够从训练数据中学到通用的模式和规律，并且能够将这些学习应用到新的数据上。

当数据量不足时，模型可能会过度拟合训练数据，即过度记忆训练集中的样本特征，而无法很好地推广到新的数据上。这可能导致模型在验证集或测试集上的性能下降，即训练误差和验证/测试误差之间的差距变大。

在上述引述中提到，Transformer 模型相对于卷积神经网络 (CNN) 缺乏一些固有的归纳偏置，如平移等效性和局部性。这些归纳偏置是指模型对于平移（图像中物体位置的变化）和局部特征的识别能力。CNN 在设计上更适合处理具有平移等效性和局部性的数据，例如图像数据。而Transformer 模型在处理序列数据时更为出色，但在面对具有平移等效性和局部性的数据时可能需要更多的数据来学习这些特征。

因此，当数据量不足时，Transformer 模型可能无法很好地学习到平移等效性和局部性等特征，从而导致泛化性能下降。这也是为什么在某些任务中，对于少量数据的情况下，CNN 可能会比 Transformer 模型表现得更好的原因之一。