课程九学习笔记: 自监督ViT算法:BeiT和MAE

课程九学习笔记: 自监督ViT算法:BeiT和MAE

  • 1. SSL在NLP中的应用:
  • 2. Bert
  • 3. BeiT
  • 4. MAE:Masked Autoencoders Are Scalable Vision Learners
  • 5. 实践:Config配置和实验分开进行

自监督+ Transformer

1. SSL在NLP中的应用:

  1. Self-Supervised Learning (SSL):通过自己“监督”自己的方式学习通用特征表达,用来作为下游任务的预训练或者backbone。(自监督学习SSL:假装看不到输入的某一部分 ,然后学习怎么去预测它!)
  2. Bidirectional Encoder Representations from Transformers :(BERT)
    (1)Transformer的Encoder
    (2)Self-Supervised Learning ( SSL )

你可能感兴趣的:(transformer,深度学习)