OpenMMLab全景图

目录

 

一、OpenMMLab简介

二.各项目介绍

1.MMDetection

（1）主要特性

（2）基准测试和模型库

2.MMSegmentation

（1）主要特性

（2）基准测试和模型库

3.MMOCR 

（1）主要特性

（2）模型库

4.MMDetection3D

（1）主要特性

（2）基准测试和模型库

5.MMEditing 

（1）主要特性

（2）模型库

6.MMClassification 

（1）主要特性

（2）基准测试及模型库

7.MMTracking 

（1）主要特性

（2）基准测试与模型库

8.MMPose 

（1）主要特性

（2）模型库

9.MMGeneration 

（1）主要特性

（2）模型库

---

一、OpenMMLab简介

从2018年年中开始，香港中文大学多媒体实验室（MMLab）就启动了OpenMMLab计划。这项计划的初衷是为计算机视觉的一些重要方向建立统一而开放的代码库，并不断把新的算法沉淀其中。我们相信，这一项工作可以推动可复现算法生态的建立，也是对计算机视觉社区的重要贡献。
OpenMMLab的各个项目都支持了pip install直接安装，增加了对混合精度训练的支持和ONNX 转换的支持，Dockerfile全面升级到PyTorch 1.6，并启用了新的模型库域名：download.openmmlab.com。目前 OpenMMLab项目开放的总算法数超过了120，总模型数达到了900以上。

二.各项目介绍

1.MMDetection

MMDetection 是一个基于 PyTorch 的目标检测开源工具箱。它是 OpenMMLab 项目的一部分。

https://github.com/open-mmlab/mmdetection

（1）主要特性

模块化设计
MMDetection将检测框架解耦成不同的模块组件，通过组合不同的模块组件，用户可以便捷地构建自定义的检测模型
丰富的即插即用的算法和模型
MMDetection 支持了众多主流的和最新的检测算法，例如 Faster R-CNN，Mask R-CNN，RetinaNet 等。
速度快
基本的框和 mask 操作都实现了 GPU 版本，训练速度比其他代码库更快或者相当，包括 Detectron2, maskrcnn-benchmark 和 SimpleDet。
性能高
MMDetection 这个算法库源自于 COCO 2018 目标检测竞赛的冠军团队 MMDet 团队开发的代码，我们在之后持续进行了改进和提升。

（2）基准测试和模型库

已支持的骨干网络：
 ResNet (CVPR'2016)
 ResNeXt (CVPR'2017)
 VGG (ICLR'2015)
 HRNet (CVPR'2019)
 RegNet (CVPR'2020)
 Res2Net (TPAMI'2020)
 ResNeSt (ArXiv'2020)
已支持的算法：
 RPN (NeurIPS'2015)
 Fast R-CNN (ICCV'2015)
 Faster R-CNN (NeurIPS'2015)
 Mask R-CNN (ICCV'2017)
 Cascade R-CNN (CVPR'2018)
 Cascade Mask R-CNN (CVPR'2018)
 SSD (ECCV'2016)
 RetinaNet (ICCV'2017)
 GHM (AAAI'2019)
 Mask Scoring R-CNN (CVPR'2019)
 Double-Head R-CNN (CVPR'2020)
 Hybrid Task Cascade (CVPR'2019)
 Libra R-CNN (CVPR'2019)
 Guided Anchoring (CVPR'2019)
 FCOS (ICCV'2019)
 RepPoints (ICCV'2019)
 Foveabox (TIP'2020)
 FreeAnchor (NeurIPS'2019)
 NAS-FPN (CVPR'2019)
 ATSS (CVPR'2020)
 FSAF (CVPR'2019)
 PAFPN (CVPR'2018)
 Dynamic R-CNN (ECCV'2020)
 PointRend (CVPR'2020)
 CARAFE (ICCV'2019)
 DCNv2 (CVPR'2019)
 Group Normalization (ECCV'2018)
 Weight Standardization (ArXiv'2019)
 OHEM (CVPR'2016)
 Soft-NMS (ICCV'2017)
 Generalized Attention (ICCV'2019)
 GCNet (ICCVW'2019)
 Mixed Precision (FP16) Training (ArXiv'2017)
 InstaBoost (ICCV'2019)
 GRoIE (ICPR'2020)
 DetectoRS (ArXix'2020)
 Generalized Focal Loss (NeurIPS'2020)
 CornerNet (ECCV'2018)
 Side-Aware Boundary Localization (ECCV'2020)
 YOLOv3 (ArXiv'2018)
 PAA (ECCV'2020)
 YOLACT (ICCV'2019)
 CentripetalNet (CVPR'2020)
 VFNet (ArXix'2020)
 DETR (ECCV'2020)
 Deformable DETR (ICLR'2021)
 CascadeRPN (NeurIPS'2019)
 SCNet (AAAI'2021)
 AutoAssign (ArXix'2020)
 YOLOF (CVPR'2021)

2.MMSegmentation

MMSegmentation 是一个基于 PyTorch 的语义分割开源工具箱。它是 OpenMMLab 项目的一部分。

https://github.com/open-mmlab/mmsegmentation

（1）主要特性

统一的基准平台
我们将各种各样的语义分割算法集成到了一个统一的工具箱，进行基准测试。
模块化设计
MMSegmentation 将分割框架解耦成不同的模块组件，通过组合不同的模块组件，用户可以便捷地构建自定义的分割模型。
丰富的即插即用的算法和模型
MMSegmentation 支持了众多主流的和最新的检测算法，例如 PSPNet，DeepLabV3，PSANet，DeepLabV3+ 等.
速度快
训练速度比其他语义分割代码库更快或者相当。 

（2）基准测试和模型库

已支持的骨干网络：
 ResNet (CVPR'2016)
 ResNeXt (CVPR'2017)
 HRNet (CVPR'2019)
 ResNeSt (ArXiv'2020)
 MobileNetV2 (CVPR'2018)
 MobileNetV3 (ICCV'2019)
已支持的算法：
 FCN (CVPR'2015/TPAMI'2017)
 PSPNet (CVPR'2017)
 DeepLabV3 (CVPR'2017)
 Mixed Precision (FP16) Training (ArXiv'2017)
 PSANet (ECCV'2018)
 DeepLabV3+ (CVPR'2018)
 UPerNet (ECCV'2018)
 NonLocal Net (CVPR'2018)
 EncNet (CVPR'2018)
 Semantic FPN (CVPR'2019)
 DANet (CVPR'2019)
 APCNet (CVPR'2019)
 EMANet (ICCV'2019)
 CCNet (ICCV'2019)
 DMNet (ICCV'2019)
 ANN (ICCV'2019)
 GCNet (ICCVW'2019/TPAMI'2020)
 Fast-SCNN (ArXiv'2019)
 OCRNet (ECCV'2020)
 DNLNet (ECCV'2020)
 PointRend (CVPR'2020)
 CGNet (TIP'2020) 

3.MMOCR 

MMOCR 是基于 PyTorch 和 mmdetection 的开源工具箱，专注于文本检测，文本识别以及相应的下游任务，如关键信息提取。 它是 OpenMMLab 项目的一部分。 

https://github.com/open-mmlab/mmocr

（1）主要特性

-全流程
该工具箱不仅支持文本检测和文本识别，还支持其下游任务，例如关键信息提取。
-多种模型
该工具箱支持用于文本检测，文本识别和关键信息提取的各种最新模型。
-模块化设计
MMOCR 的模块化设计使用户可以定义自己的优化器，数据预处理器，模型组件如主干模块，颈部模块和头部模块，以及损失函数。有关如何构建自定义模型的信 息，请参考快速入门。
-众多实用工具
该工具箱提供了一套全面的实用程序，可以帮助用户评估模型的性能。它包括可对图像，标注的真值以及预测结果进行可视化的可视化工具，以及用于在训练过程中评估模型的验证工具。它还包括数据转换器，演示了如何将用户自建的标注数据转换为 MMOCR 支持的标注文件。 

（2）模型库

支持的算法：
 DBNet (AAAI'2020)
 Mask R-CNN (ICCV'2017)
 PANet (ICCV'2019)
 PSENet (CVPR'2019)
 TextSnake (ECCV'2018)
 CRNN (TPAMI'2016)
 NRTR (ICDAR'2019)
 RobustScanner (ECCV'2020)
 SAR (AAAI'2019)
 SegOCR (Manuscript'2021)
 SDMG-R (ArXiv'2021) 

4.MMDetection3D

MMDetection3D 是一个基于 PyTorch 的目标检测开源工具箱, 下一代面向3D检测的平台. 它是 OpenMMlab 项目的一部分。

https://github.com/open-mmlab/mmdetection3d

（1）主要特性

支持多模态/单模态的检测器
支持多模态/单模态检测器，包括 MVXNet，VoteNet，PointPillars 等。
支持户内/户外的数据集
支持室内/室外的3D检测数据集，包括 ScanNet, SUNRGB-D, Waymo, nuScenes, Lyft, KITTI.
对于 nuScenes 数据集, 我们也支持 nuImages 数据集.
与 2D 检测器的自然整合
MMDetection 支持的300+个模型 , 40+的论文算法, 和相关模块都可以在此代码库中训练或使用。
性能高
训练速度比其他代码库更快。

（2）基准测试和模型库

已支持的骨干网络：
 PointNet (CVPR'2017)
 PointNet++ (NeurIPS'2017)
 RegNet (CVPR'2020)
已支持的算法：
 SECOND (Sensor'2018)
 PointPillars (CVPR'2019)
 FreeAnchor (NeurIPS'2019)
 VoteNet (ICCV'2019)
 H3DNet (ECCV'2020)
 3DSSD (CVPR'2020)
 Part-A2 (TPAMI'2020)
 MVXNet (ICRA'2019)
 CenterPoint (CVPR'2021)
 SSN (ECCV'2020)
 ImVoteNet (CVPR'2020)
 FCOS3D (Arxiv'2021) 

5.MMEditing 

MMEditing 是基于 PyTorch 的图像&视频编辑开源工具箱。是 OpenMMLab 项目的成员之一。
https://github.com/open-mmlab/mmediting 

（1）主要特性

模块化设计
MMEditing 将编辑框架分解为不同的组件，并且可以通过组合不同的模块轻松地构建自定义的编辑器模型。
支持多种编辑任务
MMEditing 支持修复、抠图、超分辨率、生成等多种主流编辑任务。
SOTA
MMEditing 提供修复/抠图/超分辨率/生成等任务最先进的算法. 

（2）模型库

支持的算法:
修复
 DeepFillv1 (CVPR'2018)
 DeepFillv2 (CVPR'2019)
 Global&Local (ToG'2017)
 PConv (ECCV'2018)
抠图
 DIM (CVPR'2017)
 GCA (AAAI'2020)
 IndexNet (ICCV'2019)
超分辨率
 BasicVSR (CVPR'2021)
 EDSR (CVPR'2017)
 EDVR (CVPR'2019)
 ESRGAN (ECCV'2018)
 IconVSR (CVPR'2021)
 LIIF (CVPR'2021)
 RDN (CVPR'2018)
 SRCNN (TPAMI'2015)
 SRResNet&SRGAN (CVPR'2016)
 TOF (IJCV'2019)
生成
 CycleGAN (ICCV'2017)
 pix2pix (CVPR'2017) 

6.MMClassification 

MMClassification 是一款基于PyTorch的开源图像分类工具箱，是 OpenMMLab 项目的成员之一。 
https://github.com/open-mmlab/mmclassification

（1）主要特性

支持多样的主干网络与预训练模型
支持配置多种训练技巧
大量的训练配置文件
高效率和高可扩展性 

（2）基准测试及模型库

支持的主干网络：
 ResNet
 ResNeXt
 SE-ResNet
 SE-ResNeXt
 RegNet
 ShuffleNetV1
 ShuffleNetV2
 MobileNetV2
 MobileNetV3 

7.MMTracking 

MMTracking 是一款基于PyTorch的视频目标感知开源工具箱，是OpenMMLab项目的一部分。 
https://github.com/open-mmlab/mmtracking

（1）主要特性

首个开源一体化视频目标感知平台
MMTracking是首个开源一体化视频目标感知工具箱，同时支持视频目标检测，单目标跟踪和多目标跟踪等多种任务和算法。
模块化设计
MMTracking将统一的视频目标感知框架解耦成不同的模块组件，通过组合不同模块组件，用户可以便捷地构建自定义视频目标感知模型。
简洁、高效、强大
简洁：MMTracking与其他OpenMMLab平台充分交互。MMTracking充分复用MMDetection中的已有模块，我们只需要修改配置文件就可以使用任何检测器。
高效：MMTracking所有操作都在GPU上运行。相比其他开源库的实现，MMTracking的训练和推理更加高效。
强大：MMTracking复现了SOTA性能的模型。受益于MMDetection的持续推进，部分实现精度超出官方版本。 

（2）基准测试与模型库

支持的视频目标检测算法:
 DFF (CVPR 2017)
 FGFA (ICCV 2017)
 SELSA (ICCV 2019)
支持的多目标跟踪算法:
 SORT/DeepSORT (ICIP 2016/2017)
 Tracktor (ICCV 2019)
支持的单目标跟踪算法:
 SiameseRPN++ (CVPR 2019) 

8.MMPose 

MMPose 是一款基于 PyTorch 的姿态分析的开源工具箱，是 OpenMMLab 项目的成员之一。 
https://github.com/open-mmlab/mmpose 

（1）主要特性

支持多种人体姿态分析相关任务
MMPose 支持当前学界广泛关注的主流姿态分析任务：主要包括 2D多人姿态估计、2D手部姿态估计、2D人脸关键点检测、133关键点的全身人体姿态估计、3D人体形状恢复、服饰关键点检测、动物关键点检测等。 具体请参考 功能演示。
更高的精度和更快的速度
MMPose 复现了多种学界最先进的人体姿态分析模型，包括“自顶向下”和“自底向上”两大类算法。MMPose 相比于其他主流的代码库，具有更高的模型精度和训练速度。 具体请参考 基准测试。
支持多样的数据集
MMPose 支持了很多主流数据集的准备和构建，如 COCO、 MPII 等。 具体请参考 数据集准备。
模块化设计
MMPose 将统一的人体姿态分析框架解耦成不同的模块组件，通过组合不同的模块组件，用户可以便捷地构建自定义的人体姿态分析模型。
详尽的单元测试和文档
MMPose 提供了详尽的说明文档，API 接口说明，全面的单元测试，以供社区参考。 

（2）模型库

支持的算法:
 DeepPose (CVPR'2014)
 Wingloss (CVPR'2018)
 CPM (CVPR'2016)
 Hourglass (ECCV'2016)
 SimpleBaseline (ECCV'2018)
 HRNet (CVPR'2019)
 HRNetv2 (TPAMI'2019)
 SCNet (CVPR'2020)
 Associative Embedding (NeurIPS'2017)
 HigherHRNet (CVPR'2020)
 DarkPose (CVPR'2020)
 UDP (CVPR'2020)
 MSPN (ArXiv'2019)
 RSN (ECCV'2020)
 HMR (CVPR'2018)
 Simple 3D Baseline (ICCV'2017)
支持的数据集:
 COCO (ECCV'2014)
 COCO-WholeBody (ECCV'2020)
 MPII (CVPR'2014)
 MPII-TRB (ICCV'2019)
 AI Challenger (ArXiv'2017)
 OCHuman (CVPR'2019)
 CrowdPose (CVPR'2019)
 PoseTrack18 (CVPR'2018)
 MHP (ACM MM'2018)
 sub-JHMDB (ICCV'2013)
 Human3.6M (TPAMI'2014)
 300W (IMAVIS'2016)
 WFLW (CVPR'2018)
 AFLW (ICCVW'2011)
 COFW (ICCV'2013)
 OneHand10K (TCSVT'2019)
 FreiHand (ICCV'2019)
 RHD (ICCV'2017)
 CMU Panoptic HandDB (CVPR'2017)
 InterHand2.6M (ECCV'2020)
 DeepFashion (CVPR'2016)
 Animal-Pose (ICCV'2019)
 Horse-10 (WACV'2021)
 MacaquePose (bioRxiv'2020)
 Vinegar Fly (Nature Methods'2019)
 Desert Locust (Elife'2019)
 Grévy’s Zebra (Elife'2019)
 ATRW (ACM MM'2020)
支持的骨干网络:
 AlexNet (NeurIPS'2012)
 VGG (ICLR'2015)
 HRNet (CVPR'2019)
 ResNet (CVPR'2016)
 ResNetV1D (CVPR'2019)
 ResNeSt (ArXiv'2020)
 ResNext (CVPR'2017)
 SCNet (CVPR'2020)
 SEResNet (CVPR'2018)
 ShufflenetV1 (CVPR'2018)
 ShufflenetV2 (ECCV'2018)
 MobilenetV2 (CVPR'2018) 

9.MMGeneration 

MMGeneration 是一个基于 PyTorch 和MMCV的强有力的生成模型工具箱，尤其专注于 GAN 模型。 主分支目前支持 PyTorch 1.5 以上的版本。
https://github.com/open-mmlab/mmgeneration 

（1）主要特性

高质量高性能的训练: 
我们目前支持 Unconditional GANs, Internal GANs, 以及 Image Translation Models 的训练。很快将会支持 conditional models 的训练。
强有力的应用工具箱: 
为用户提供了丰富的工具箱，包含 GANs 中的多种应用。我们的框架集成了 GANs 的插值，投影和编辑。请用你的 GANs 尽情尝试！(应用教程)
生成模型的高效分布式训练: 
对于生成模型中的高度动态训练，我们采用 MMDDP 的新方法来训练动态模型。(DDP教程)
灵活组合的新型模块化设计: 
针对复杂的损失模块，我们提出了一种新的设计，可以自定义模块之间的链接，实现不同模块之间的灵活组合。

（2）模型库

Unconditional GANs 
    DCGAN (ICLR'2016)
    WGAN-GP (NIPS'2017)
    PGGAN (ICLR'2018)
    StyleGANV1 (CVPR'2019)
    StyleGANV2 (CVPR'2020)
    Positional Encoding in GANs (CVPR'2021)
Image2Image Translation 
    Pix2Pix (CVPR'2017)
    CycleGAN (ICCV'2017)
Internal Learning 
    SinGAN (ICCV'2019)