CV-掩码学习-模型-2021：MAE【在NLP和CV两大领域之间架起了一座更简便的桥梁】

此文最大的贡献，可能是在NLP和CV两大领域之间架起了一座更简便的桥梁。

此前，大名鼎鼎的GPT和BERT已经将大型自然语言处理（NLP）模型的性能提升到了一个新的高度。

直观点讲，就是事先遮住一些文本片段，让AI模型通过自监督学习，通过海量语料库的预训练，逐步掌握上下文语境，把这些被遮住的片段，用尽可能合乎逻辑的方式填回去。

这和我们做「完形填空」的方式有些类似。经过海量数据的学习和训练，AI模型慢慢学会了自己生成自然文本。目前，随着GPT及其后续改进模型的不断进步，生成的自然文本几乎可以乱真。

现在，何恺明的这篇文章把NLP领域已被证明极其有效的方式，用在了计算机视觉（CV）领域，而且模型更简单。

我们注意到，图像和语言是不同性质的信号，必须认真处理这种差异。图像仅仅是记录下来的光，没有语义分解成视觉上类似的单词。我们没有尝试删除对象，而是删除了最有可能不会形成语义段的随机patches。同样，我们的MAE重建的像素不是语义实体。然而，我们观察到（如图4），我们的MAE推断出复杂的整体重建，表明它已经学习了许多视觉概念，即语义。我们假设这种行为是通过MAE内部丰富的隐藏表征产生的。我们希望这一观点将激励今后的工作。

MAE：掩码自编码模型--CV无监督学习 - 巴蜀秀才 - 博客园

CV大神何恺明最新一作：视觉预训练新范式MAE！下个CV大模型要来

凯明大神新作MAE，又一次刷新我的认知了 

[CVPR2022]MAE模型代码分析_清欢年岁~的博客-CSDN博客_mae模型