【OpenMMLab】AI实战营第二期Day4：深度学习预训练与MMPretrain

概述

这是一节介绍深度学习预训练和MMPretrain的相关课程，其中包括任务组成和框架概览、经典主干网络的介绍、自监督学习、多模态算法中的clip以及blip两个算法等。

亮点

• MMPretrain算法库：易于使用、用户友好，支持多模态学习的算法，提供了cam可视化和可解释性分析的工具以及图像描述生成算法。
• 自监督学习：通过数据增强以及单batch内的负样本训练，使用simclr来比较两个图像的相似性。
• 对抗样本：可对对应物体给定正确的颜色。
• Vision Transformer：包括多层transformer和注意力机制，权重化提取信息从而提升网络性能。
• MMPretrain：基于图像以及基于文本输入的instruction形式，使得可以从中获得相应的response作为最终输出结果。