Openmmlab寒假训练营(二)

Openmmlab寒假训练营(二)

1.分类问题的发展和模型总结

经典的卷积神经网络

VGG系列、GoogleNet、ResNet等

注:关于ResNet的一些后续改进

ResNet B/C/D 残差模块的局部改建、ResNeXt 使用分组卷积,降低参数量等

带注意力机制网络

Vision Transformer、Swin Transformer

注意力机制网络对卷积网络的启发模型——ConvNeXt

2.分类问题与其他下游任务的关系

分类问题可以作为其他下游任务的特征提取器,即Feature Extractor

3.一些轻量化卷积的设计

网络名称 卷积特点
GoogleNet 多尺度卷积的拼接
ResNet 利用特殊的1*1卷积来压缩特征通道
MobileNet 将常规卷积分解为逐层卷积和逐点卷积,降低参数量和计算量

你可能感兴趣的:(深度学习,计算机视觉,神经网络,pytorch)