深度学习资料整理目录，与大家一起讨论

目录

1.     空洞卷积作用... 6

2.     Image Pyramid. 6

3.     SPP（Spatial Pyramid Pooling）... 6

4.     deformable convnets V1&V2. 8

4.1 V1和V2区别... 9

5.     bigbatch 训练... 10

6.     多GPU并行训练... 10

7.     RoI Pooling与RoIWrap Pooling与RoIAlign Pooling与Precise RoI Pooling. 10

7.1            RoI Pooling. 10

7.2            RoIWrap Pooling. 11

7.3            RoIAlign Pooling. 11

7.4            Precise RoI Pooling. 12

7.5            总结... 13

8.     双线插值方法... 13

9.     视觉的Attention机制... 15

9.1            什么是Attention机制（视觉）？... 15

9.2            Attention机制应用在了哪些地方？... 16

9.2.1 方式一：学习权重分布... 16

9.2.2 方式二：任务聚焦/解耦... 20

9.3            软注意力和强注意力机制... 21

9.3.1        空间域（Spatial Domain）... 22

9.4            感想... 24

9.5            CBAM: Convolutional Block Attention Module. 24

9.5.1        概述... 24

9.5.2        Convolutional Block Attention Module. 25

10.            二分类、多分类与多标签分类的区别与损失函数... 28

10.1基本概念... 28

10.2 分类... 28

10.3 多分类... 29

10.4多标签分类... 30

11.            Soft-nms. 30

11.1          算法... 30

11.2          NMS与soft-nms对比... 31

11.3          f(iou(M,bi))权重函数的形式... 32

12.            分类论文... 33

12.1          EfficientNet 33

12.1.1      动机... 33

12.1.2      设计与实现... 33

12.1.2.1           单个扩大深度、宽度、分辨率存在问题... 33

12.1.2.2           混合扩展... 34

12.1.2.3           EfficientNet结构... 35

12.1.3      实验... 36

13.            目标检测论文... 36

13.1          DetNet 36

13.1.1      动机... 36

13.1.2      挑战... 37

13.1.3      个人总结... 38

13.2          RRPN+RROI 38

13.2.1      数据预处理... 38

13.2.2      Rotation Anchors. 39

13.2.3      Learning of Rotated Proposal 39

13.2.4      Accurate Proposal Refinement 39

13.2.5      RRoI pooling. 40

13.2.6      放射变换与RRPN中变换区别... 40

13.3          FSAF(anchor-free) 45

13.3.1      网络结构... 46

13.3.2      anchor-free分支的监督信号... 46

13.3.3      Online Feature Selection. 48

13.3.4      优缺点分析... 48

13.4          SAPD. 48

13.4.1      Anchor-Point Detectors预备知识... 49

13.4.1.1           网络结构Network architecture. 49

13.4.1.2           监督targets. 50

13.4.1.3           损失函数... 51

13.5          ATSS（anchor）... 51

13.5.1      解决问题... 51

13.5.2      解决方法... 51

13.6          Region Proposal by Guided Anchoring（anchor）... 53

13.6.1      问题... 53

13.6.2      解决方法... 53

13.7          PANet（anchor）... 55

13.8          EfficientDet 56

13.8.1      问题提出... 56

13.8.2      解决方法... 56

13.8.2.1           FPN变化（最近几年）... 56

13.8.2.2           可变性（backbone、BiFPN、分类和bbox）... 57

13.8.2.3           网络结构... 58

13.8.3      实验... 58

13.8.3.1           Backbone和BiFPN提升AP对比... 58

13.8.3.2           FPN、PANet、NAS-FPN、BiFPN对比... 58

13.8.3.3           权重特征融合（softmax与Fast Normalized Fusion）... 59

13.8.3.4           综合可变维度... 59

13.9          IOU-net 59

13.9.1      问题提出... 59

13.9.2      问题解决... 60

13.9.3      实验... 60

14.            目标检测tricks. 60

14.1          smoothL1 loss不用L1 loss和L2 LOSS. 60

14.2          图像预处理均值和方差... 62

14.3          训练WarmUP. 63

14.4          Rethinking ImageNet Pre-training. 65

14.4.1      With/without pre-training. 66

14.4.2      训练推荐... 68

14.4.3      少量训练数据对模型影响对比... 69

14.4.4      本文总结... 69

14.5          fine-tuning schedules. 70

14.6          数据增强... 70

14.6.1      CutOut 70

14.6.2      MixUp. 71

14.6.3      CutMix. 71

14.7          标签平滑Label Smoothing. 71

14.8          卷积正则化方法... 73

14.8.1      Regularization正则化... 73

14.9          GAP（全局平均池化）... 74

15.            小目标检测... 76

15.1          从图像或特征尺度的角度... 76

15.2          从anchor角度... 76

15.3          对于使用ROI Pooling的网络... 76

15.4          增加小目标数量... 77

15.5          在对小目标的IoU阈值上... 77

15.6          回归损失函数上... 78

15.7          小目标的GT. 78

16.            OCR. 78

16.1          OCR样本生成... 78

16.2          模型... 78

17.            优化问题... 79

17.1          SGD. 79

17.2          Momentum.. 80

17.3          Nesterov Accelerated Gradient 80

17.4          AdaGrad. 82

17.5          RMSProp（Root Mean Square ）... 83

17.6          AdaDelta. 83

17.7          Adam（Adaptive Moment）... 84

17.8          Adamax. 85

17.9          Nadam.. 85

17.10       指数加权平均... 85

17.11       优化算法选择... 87

18.            激活函数... 88

18.1          ReLU.. 88

18.2          leaky-ReLU.. 88

18.3          parameter-ReLU.. 88

18.4          ReLU6. 89

18.5          SELU.. 89

18.6          Swish. 89

18.7          Mish. 89

19.            Augmentation for small object detection. 89

20.            OHEM（Online Hard Example Ming）... 89

21.            Transformer 90

22.            RPN缺点... 90

23.            目标检测回归损失函数简介：SmoothL1/IoU/GIoU/DIoU/CIoU Loss. 90

23.1          Smooth L1 Loss. 90

23.2          IoU Loss. 92

23.3          GIoU Loss. 95

23.4          DIoU Loss. 96

23.5          CIoU Loss. 98

24.            Detectron2. 99

24.1          GIOU、CIOU等加入Detectron2. 99

24.2          export caffe2和onnx部署... 99

24.3          Boxes（detectron2自定义）转化numpy. 99

24.4          RRPN和RIOU.. 99

24.5          可视化（训练优化）... 99

24.6          体征可视化... 100

24.7          图像金字塔detectron2中使用... 100

24.8          detectron2加载数据格式... 100

24.9          detectron2安装windows. 100

24.10       pytorch unitTest 101

24.11       求图像均值和方差... 102

24.12       Warmup LR. 102

24.13       Test time augmentation. 103

24.14       读代码记录... 103

24.14.1             RPN记录... 103

25.            YoloV4. 104

25.1          YoloV4原理... 104

25.1.1      Yolov3中SPP. 104

25.1.2      YoloV4理解导图... 107

25.1.3      Bag of freebies. 107

25.1.4      Bag of specials. 107

25.2          YoloV4方法... 108

25.2.1      框架选择... 108

25.2.2      BOS和BOF选择... 108

25.2.3      另外提升... 108

25.3          Windows环境... 108

25.4          网络... 111

26.            Py-faster-RCNN.. 111

26.1          RPN实现... 111

28.            评价指标... 113

28.1          综合评价指标（F-Measure）... 113

29.            Fine-tuning. 113

30.            偏差与方差... 114

30.1          偏差与方差定义... 114

30.2          偏差与方差的关系... 114

31.            再论卷积... 117