AI实战营:深度学习预训练与MMPreTrain

目录

一、MMPretrain算法库介绍

二、经典主干网络

残差网络ResNet(2015)

Vision Transformer(2020)

三、自监督学习

四、多模态算法


 

一、MMPretrain算法库介绍

  • 算法库与任务组成&框架概览
    • 预训练工具箱MMPretrain

      • AI实战营:深度学习预训练与MMPreTrain_第1张图片
      • AI实战营:深度学习预训练与MMPreTrain_第2张图片
    • Python推理API
      • AI实战营:深度学习预训练与MMPreTrain_第3张图片
    • 环境搭建
      • AI实战营:深度学习预训练与MMPreTrain_第4张图片
    • OpenMMLab项目中的重要概念——配置文件
      • AI实战营:深度学习预训练与MMPreTrain_第5张图片
    • 代码框架
      • AI实战营:深度学习预训练与MMPreTrain_第6张图片
    • 数据流
      • AI实战营:深度学习预训练与MMPreTrain_第7张图片
    • 配置文件的运行方式
      • AI实战营:深度学习预训练与MMPreTrain_第8张图片

二、经典主干网络

  • 深度神经网络
    • AI实战营:深度学习预训练与MMPreTrain_第9张图片
  • 精度退化问题
    • AI实战营:深度学习预训练与MMPreTrain_第10张图片
  • 实验的反直觉
    • AI实战营:深度学习预训练与MMPreTrain_第11张图片
  • 残差学习的基本思路
  • ResNet中的两种残差模块

    • AI实战营:深度学习预训练与MMPreTrain_第12张图片
  • 残差网络ResNet(2015)

    • AI实战营:深度学习预训练与MMPreTrain_第13张图片
    • AI实战营:深度学习预训练与MMPreTrain_第14张图片
  • ResNet的成就和影响力
    • AI实战营:深度学习预训练与MMPreTrain_第15张图片
  • Vision Transformer(2020)

    • AI实战营:深度学习预训练与MMPreTrain_第16张图片
    • 注意力机制Attention Mechanism

      • AI实战营:深度学习预训练与MMPreTrain_第17张图片
      • Why Attention

        • AI实战营:深度学习预训练与MMPreTrain_第18张图片

      • Attention for 1D data

        • AI实战营:深度学习预训练与MMPreTrain_第19张图片

      • Multi-head

        • AI实战营:深度学习预训练与MMPreTrain_第20张图片

三、自监督学习

  • 自监督学习的常见类型
    • AI实战营:深度学习预训练与MMPreTrain_第21张图片
  • SIMCLR(ICML 2020)
    • AI实战营:深度学习预训练与MMPreTrain_第22张图片
    • AI实战营:深度学习预训练与MMPreTrain_第23张图片

  • MAE(Masked Autoencoders, CVPR 2022)
    • AI实战营:深度学习预训练与MMPreTrain_第24张图片

     AI实战营:深度学习预训练与MMPreTrain_第25张图片

四、多模态算法

  • CLIP(ICML 2021)
    • AI实战营:深度学习预训练与MMPreTrain_第26张图片
    • AI实战营:深度学习预训练与MMPreTrain_第27张图片

BLIP

 AI实战营:深度学习预训练与MMPreTrain_第28张图片

  • AI实战营:深度学习预训练与MMPreTrain_第29张图片
  • AI实战营:深度学习预训练与MMPreTrain_第30张图片
  • AI实战营:深度学习预训练与MMPreTrain_第31张图片
  • AI实战营:深度学习预训练与MMPreTrain_第32张图片
  • AI实战营:深度学习预训练与MMPreTrain_第33张图片

你可能感兴趣的:(人工智能,深度学习,机器学习)