计算机视觉中自监督学习的最近进展

深度视觉的挑战：

1. 找到更好的模型
2. 理解模型的鲁棒性（适用于对抗样本）
   ————————
3. 希望模型训练时使用一些无标签数据
4. 自监督学习
   
   
   当我们采用更大的模型的时候，它的性能会更好，但是我们在面对数据倍增时，性能提升比大模型的增益更大。大模型反而更加容易over-fitting。
   
   自监督，主要用来解决数据不足的问题。
   
   
   自监督学习近几年的发展。
   
   从20年开始爆发，Joint-embedding为主。2021年开始，22年论文发表出来Masked.autocoding的框架开始出现。
   
   
   监督学习（Supervised learning）、半监督学习（Semi-supervised learning）和无监督学习（Unsupervised learning）
   
   
   
   First survey on masked autoencoder