MAE论文精读读后感

MAE(带掩码的自编码器)
主要是在vit的基础上参考BERT(带掩码的自监督训练)
为什么CV之前没有人用带掩码的自监督训练?(与NLP领域的区别):
1.原来采用的CNN卷积神经网络不好学习掩码(CNN不好抓取一个特定的点)
2.文字每个字包含了明确的语义信息,而图片一块像素点存在很多冗余信息(若在图片中只摘除几个点很容易就能通过周围的像素信息复原,而语言文字中少了一两个词都很难还原整个句子信息),因此MAE采用了75%遮盖这种比较有挑战性的任务来减少图片像素冗余信息带来的影响。
3.用于还原原本像素的解码器要比NLP中还原单词的单层线性层要复杂一些,因为单词在语义空间中在比较高的层,而像素属于比较低的层。

你可能感兴趣的:(机器学习)