深度学习知识点总结

本专栏主要总结深度学习中的知识点，从各大数据集比赛开始，介绍历年冠军算法；同时总结深度学习中重要的知识点，包括损失函数、优化器、各种经典算法、各种算法的优化策略Bag of Freebies (BoF)等。

目录

---

1. 重要比赛历年冠军

1.1. 数据集

1.1.1. ImageNet

1.1.2. PASCAL VOC

1.1.3. MS COCO

1.2. 历年冠军

2. 常用

2.1 常用公式

2.1.1 卷积计算方式

2.1.2 常用导数计算公式

2.1.3 常用公式

2.2. 激活函数

2.2.1. 激活函数汇总

2.2.2. 激活函数总结分析

2.3. 损失函数

2.3.1 L1Loss

2.3.2 MSELoss

2.3.3 CrossEntropyLoss

2.3.4 NLLLoss

2.3.5 BCELoss

2.3.6 BCEWithLogitsLoss

2.3.7 MultiMarginLoss

2.3.8 MultiLabelMarginLoss

2.3.9 SmoothL1Loss

2.3.10 Focal loss

2.3.11 IoU Loss

2.3.12 GIoU Loss

2.3.13 DIoU Loss

2.3.14 CIoU Loss

2.3.15 CTCLoss

2.4. 优化器

2.4.1. SGD

2.4.2. Adagrad

2.4.3. RMSprop

2.4.4. Adadelta

2.4.5. Adam

2.4.6. 学习率调度器

2.5. 评价指标

3. 从RNN到Attention到Transformer

3.1 RNN

3.1.1 RNN介绍

3.1.2 PyTorch中RNN的计算

3.1.3 RNN手动计算验证

3.1.4 RNN存在的问题

3.2 LSTM

3.2.1 LSTM介绍

3.2.2 分步 LSTM 演练

3.2.3 PyTorch中LSTM的计算

3.2.4 LSTM变形-加入peepholes (窥视孔)

3.2.5 LSTM变形-忘记门和输入门使用耦合的LSTM

3.2.6 LSTM变形-GRU

3.3 Decode-Encode(Seq2Seq)

3.3.1 Encode-Decode(Seq2Seq)介绍

3.3.2 Encode

3.3.3 Decode

3.3.4 Seq2Seq

3.3.5 全部训练代码

3.4 Attention

3.4.1 Encode

3.4.2 Attention

3.4.3 Encode

3.4.4 Seq2Seq

3.5 Transformer

3.5.1 Self-Attention

3.5.2 位置编码

3.5.3 Multi-Head Attention

3.5.4 整体结构

3.5.5 编码器中间计算过程示意图

3.5.6 解码器中间计算过程示意图

3.5.7 Transformer总体示意图

3.5.8 全部代码下载链接

3.6 ViT(Visual Transformaer)

3. Layer/Backbone

3.1. 综合

3.2. LeNet

3.3. AlexNet

3.4. VGG

3.5. NIN

3.5.1. MLP Convolution Layers

3.5.2. Global Average Pooling

3.6. Inceptionv1(GoogLeNet)

3.7. BN-Inception

3.8. Inceptionv2

3.9. Inceptionv3

3.10. Inceptionv4

3.11. ResNet

3.12. ResNetv2

3.13. WideResNet( WRN )

3.14. DenseNet

3.15. ResNeXt

3.16. DPN（2017年ImageNet定位任务的冠军）

3.17. SENet（2017年ImageNet分类任务的冠军）

3.18. SPP Layer

3.19. ASPP

3.20. RFB

3.21. SCPNet

3.22. DarkNet53

3.23. YOLOv3

3.24. CSPDarknet53

3.25. PANet

3.26. YOLOv4

4. Bag of Freebies (BoF)

4.1. Bag of Freebies (BoF) for backbone

4.1.1. MixUp

4.1.2. Mosiac

4.1.3. CutMix

4.1.4. FMix

4.1.5. DropBlock

4.1.6. Class label smoothing

4.2. Bag of Freebies (BoF) for detector

4.2.1. Loss

4.3. 归一化

4.3.1. BN

4.3.2. Layer Normalization

4.3.3. Instance Normalization

4.3.4. Group Normalization

4.3.5. FRN

4.3.6. CBN

4.3.7. CmBN

4.3.8. LocalResponseNorm(LRN)

---