CV综述图像分类整理---目录

图像任务

---

图像分类

构建我的classification框架记录

目标检测

参考CV综述目标检测整理—目录

OCR任务

图像分割

参考CV综述图像分割整理—目录

图像增强

视频任务

CNN

---

学习CNN

参考资料:

• 关于最近2020年5月1日《CNN EXPLAINER》学习笔记
• 揭开神经网络的面纱—CNN explainer
• from Francois Chollet 第5.4章

参考blog:

• CNN可视化之类激活热力图Grad-CAM
  
• 凭什么相信你，我的CNN模型？

参考论文:

• 2012年NIPS上Alex Krizhevsky发表的AlexNet应该是最早可视化过滤器的文章
• 开山之作 2014年ECCV上Zeiler的《Visualizing and Understanding Convolutional Networks》
• 2016年的CAM 《Learning deep features for discriminative localization》
• 2017年的Grad-CAM 《Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization》
• 2018年的Grad-CAM++ 《Grad-CAM++: Generalized Gradient-based Visual Explanations for Deep Convolutional Networks》

神经网络可视化

• 可视化CNN中间输出, 激活参数可视化, cnn-explainer
• 可视化CNN过滤器
• 可视化图像中CAM, 类激活热力图 https://github.com/utkuozbulak/pytorch-cnn-visualizations

可视化工具

• caffe+ deep-visualization-toolbox
• playground.tensorflow.org
• cnn-explainer

神经网络复杂度分析工具

• netscope: 用于分析caffe模型

CNN explainer

作者大佬Zijie (Jay) Wang个人博客
论文
传送门:

• CNN解释器

• 论文

• https://github.com/poloclub/cnn-explainer

• 揭开神经网络的面纱—CNN explainer

相关知识

• 前端UI框架 Svelte

• 类似UI框架bootstrap

• 前端打包工具 — rollup

• 发布脚手架— sirv-cli

一个很不错的学习网站 跨象乘云

---

经典CNN backbone

---

vgg

论文: VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION@20150410
源码:
特点:

• 全部使用33conv和11conv
• conv+bn+relu

Inception module

cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQ2NjE5NA==,size_16,color_FFFFFF,t_70)

论文: VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION@20150410
源码:
特点:

• 更宽的网络
• GoogleNet参数为500万个

参考博客: 大话CNN经典模型：GoogLeNet（从Inception v1到v4的演进）

Inception V2 module

特点:
任意nxn的卷积都可以通过1xn卷积后接nx1卷积来替代。GoogLeNet团队发现在网络的前期使用这种分解效果并不好，在中度大小的特征图（feature map）上使用效果才会更好（特征图大小建议在12到20之间）

Inception V3 — 分解

Inception V4

论文: xception
源码: https://github.com/liuzhuang13/DenseNet
特点:
Inception V4主要利用残差连接（Residual Connection）来改进V3结构

resnet module — shortcut connections

Shortcut Connection

• identity mapping
• residual mapping

论文: Deep Residual Learning for Image Recognition@20151210
Highway Networks
源码: https://github.com/liuzhuang13/DenseNet
特点:

• 超级深
• 模型增加一个identity mapping（恒等映射），将原始所需要学的函数H(x)转换成F(x)+x

扩展：

• 被引用超多，可以集成到所有框架中完成不同任务．

WRN

论文: wide residual networks@20170614
源码:
特点:

• WRN比通常使用的细且深的残差网络有着更好的性能
• 我们研究了一个简单的16层深的WRN网络。这个WRN网络比以前的残差网络（包括上千层的网络）的准确率更高且效率更高
• 相同参数时，宽度比深度好训练

参考博客: WRN 论文笔记

ResNeXt

论文: Aggregated Residual Transformations for Deep Neural Networks
源码:
特点:

• 到这里我们发现ResNeXt和Inception v4是非常像的
• ResNeXt的分支的拓扑结构是相同的，Inception V4需要人工设计；
• ResNeXt是先进行卷积然后执行单位加，Inception V4是先拼接再执行卷积
• ResNeXt确实比Inception V4的超参数更少，但是他直接废除了Inception的囊括不同感受野的特性仿佛不是很合理，在更多的环境中我们发现Inception V4的效果是优于ResNeXt的。类似结构的ResNeXt的运行速度应该是优于Inception V4的，因为ResNeXt的相同拓扑结构的分支的设计是更符合GPU的硬件设计原则。

参考博客:
ResNeXt详解

Densenet

论文: Densely Connected Convolutional Networks@20180128
源码: https://github.com/liuzhuang13/DenseNet
特点:
大量重用特征feature的策略,可以显著减少参数和计算量
网络更窄,参数更少
缺点:
DenseNet其实比ResNet提取特征能力更强，而且其参数更少，计算量（FLOPs）也更少，用于目标检测虽然效果好，但是速度较慢，这主要是因为DenseNet中密集连接所导致的高内存访问成本MAC和能耗. 当输入较大时往往需要更多的显存和推理时间 ,摘自这篇文章
密集连接可能产生特征冗余
VOVnet的提出为了解决densenet问题.
参考博客:
DenseNet算法详解

Deep Pyramidal Residual Networks

论文: Deep Pyramidal Residual Networks
源码: TODO
特点: TODO
参考博客:
卷积神经网络学习路线（十三）| CVPR2017 PyramidNet

---

VoVNet

查看下方目标检测高效backbone
论文: TODO
源码: TODO
特点: TODO

---

SEnet: Squeeze-and-Excitation (SE)模块

论文: TODO
源码: TODO
特点:

• SENet网络的创新点在于关注channel之间的关系，希望模型可以自动学习到不同channel特征的重要程度
• 本质上，SE模块是在channel维度上做attention或者gating操作
• channel attention
• 只需要增加较少的计算量就可以带来性能的提升

CSPNET

CSPNET@20191127

论文: Densely Connected Convolutional Networks@20180128
源码: https://github.com/liuzhuang13/DenseNet
特点:
降低计算量,提升CNN学习效果.特征融合的方法.尤其在darknet检测中效果好.
改进了密集块和过渡层的信息流，优化了梯度反向传播路径
能够实现更丰富的梯度组合，同时减少计算量
使用CSPNet可以降低计算量，但是准确率提升很小；在目标检测问题中，使用CSPNet作为Backbone带来的提升比较大，可以有效增强CNN的学习能力，同时也降低了计算量。

参考博客:
YOLOV4论文解读与应用
CSPNet 论文笔记 —跨阶段局部网络
增强CNN学习能力的Backbone:CSPNet

FCN— 适用于图像分类

应用于RFCN ：借用fasterrcnn和FCN

轻量级CNN(参数少)

mobilnet

论文: mobilnet
源码:
特点:
MobileNet中采用深度可分离卷积（depthwise conv+1x1 conv）虽然降低了FLOPs，但是因为额外的1x1卷积而不利于GPU运算效率。

参考博客
CNN-mobilenet系列论文解读与应用

shufflenet by旷视科技

论文: shufflenet
源码:
**特点: **
+ ShuffleNetv2与MobileNetv2在相同的FLOPs下，前者在GPU上速度更快.
+ 所以如果功效一样，尽量采用较少的层.

**参考博客**
[CNN-shufflenet系列论文解读与应用](https://blog.csdn.net/weixin_42466194/article/details/107364049)

googlenet

squeezenet

论文: squeezenet
源码:
特点:
+ squeezeNet虽然比VGG少了50倍的参数量，但是它比VGG能耗更多
+
参考博客:
[图像分类]论文笔记VovNet（专注GPU计算、能耗高效的网络结构）
CSPNet 论文笔记 —跨阶段局部网络
增强CNN学习能力的Backbone:CSPNet

tiny-darknet from yolov3

darknet53

darknet19

---

附加知识

参考博客：

• 理解 Deformable Convolutional Networks

１空洞卷积　dilated conv

2 反卷积　deconv　＝　upsampling

3 Deformable convolution 可变卷积+可变ROI采样

• 使用于目标检测与图像分割任务

---

目标检测常用CNN-backbone(低能耗,GPU运算效率高)

SSD

• PeleeNet
  论文: Pelee: A Real-Time Object Detection System on Mobile
  Devices@20190118
  源码:
  CAFFE: Robert-JunWang-Pelee
  PYTORCH
  特点:

  • Two-Way Dense Layer
  • Stem Block: 几乎不增加计算量的情况下提升特征的表达能力
  • 瓶颈层设置动态变化的通道数
  • 过渡层
  • 复合功能

  缺点:

  • PeleeNet是通过把dense block拆分为更小的dense block实现flops减少的。由此，可以推断把dense block分解为小片段的计算并不利于GPU运算。

  参考博客:
  这篇文章
  CSPNet 论文笔记 —跨阶段局部网络
  增强CNN学习能力的Backbone:CSPNet

• Vovnet: OSA module
  
  论文: An Energy and GPU-Computation Efficient Backbone Network for Real-Time Object Detection
  源码: 结合refineDet做目标检测
  特点:
  

  • VoVNet-27-slim的内存占用、能耗、GPU使用效率都是最高的。
  • 可以用于检测模型DSOD，RefineDet和Mask R-CNN,参考VoVNet：实时目标检测的新backbone网络
  • 基于VoVNet的目标检测模型性能超越基于DenseNet的模型，速度也更快，相比ResNet也是性能更好。

  缺点:

  • VoVNet需要更多的计算量以及参数量

  参考博客:
  [图像分类]论文笔记VovNet（专注GPU计算、能耗高效的网络结构）
  VoVNet：实时目标检测的新backbone网络

• Vovnet2 —CenterMask
  引入了ResNet的残差连接和SENet的SE模块
  

论文: An Energy and GPU-Computation Efficient Backbone Network for Real-Time Object Detection
源码: 结合CenterMask做实例分割
特点:

+ VoVNet-27-slim的内存占用、能耗、GPU使用效率都是最高的。
+ 可以用于检测模型**DSOD，RefineDet和Mask R-CNN**,参考[VoVNet：实时目标检测的新backbone网络](https://blog.csdn.net/xiaohu2022/article/details/105318534/#t4)
**缺点:**
+ VoVNet需要更多的计算量以及参数量

**参考博客:** 
[[图像分类]论文笔记VovNet（专注GPU计算、能耗高效的网络结构）](https://zhuanlan.zhihu.com/p/79677425)

RefineDet

• 网络框架
• 检测框架
  Anchor Refinement Module（ARM）
  ARM模块专注于二分类任务
  Object Detection Module（ODM）

参考博客:
RefineDet算法笔记
『计算机视觉』物体检测之RefineDet系列

YOLO

• Darknet19 — yolov2
• Darknet53 — yolov3
  • 网络框架
  • 检测框架
    Anchor Refinement Module（ARM）
    ARM模块专注于二分类任务
    Object Detection Module（ODM）

参考博客:
base model第四弹：专为目标检测设计的DarkNet和VovNet

anchor-free

centermask

fasterrcnn/ maskrcnn

• dcn

论文:
Deformable ConvNets v2: More Deformable, Better Results@20181128
论文用于faster-rcnn和mask-rcnn，提高了在coco2017上的AP，提升了四五个点。

源码：
PyTorch implementation of Deformable ConvNets v2

模型选择

• maskrcnn
  1 评价指标：
  • 损失函数
  • Average Precision：准确率
  • inference速度：
• k-means