OpenMMLab课程笔记Day2

一、模型设计:

  • 卷积神经网络

AlexNet,VGG,GooglLeNet,RESNET(2015)残差网络,

  • 轻量化卷积神经网络

可分离卷积:逐层卷积,逐点卷积。分组卷积

  • 神经结构搜索

借助强化学习的方法搜索出表现最佳的网络

  • Transformer

注意力机制

二、模型学习:

  • 学习率策略:学习率退火,学习率升温,自适应梯度算法

  • 自监督学习(基于无标注的学习):基于代理任务,基于对比学习,基于掩码学习

你可能感兴趣的:(深度学习,自然语言处理,人工智能)