【OpenMMLab】OpenMMLab概述

OpenMMLab概述

同济子豪兄的精彩讲解
开发人工智能算法就离不开深度学习框架。OpenMMLab 诞生于2018年，是一个由中国开发者主导的人工智能计算机视觉开源算法体系。

每个计算机视觉任务都有相应的OpenMMLab在Github上开源。OpenMMLab 已经累计开源了超过30个算法库，大量的预训练模型，涵盖了图像识别分类，目标检测，语义分割，姿态估计等等各种计算机视觉任务。而且这些算法库都在Github上免费开源，可以直接下载所有的源代码和预训练文件。

OpenMMLab 代表算法库

目标检测算法库 MMDetection

算法库地址：https://github.com/open-mmlab/mmdetection
MMDetection 算法库可以解决目标检测、实例分割、全景分割和目标追踪任务，包含了这些任务几乎所有的开源算法和论文的复现，是 OpenMMLab 最具有影响力的算法库。

目标检测算法库2 MMYOLO

算法库地址：https://github.com/open-mmlab/mmyolo
MMYOLO 是基于PyTorch的 YOLO(You Only Look Once，是经典的单阶段目标检测算法) 系列算法的开源工具箱，是一个专门用来解决 YOLO 目标检测问题的算法库

文字检测识别算法库 MMOCR

算法库地址：https://github.com/open-mmlab/mmocr
OCR 是计算机视觉中很经典的一个问题，算法主要解决三类问题：

• 文本检测：识别图像中的文本区域
• 文本识别：识别图像中的文字内容
• 关键信息提取：提取结构化图像上的信息，如票据、证件、拍照等
  MMOCR 算法库中实现很多经典的OCR算法，包括中文、英文和数字的识别
  

3D目标检测算法库 MMDetection3D

算法库地址：https://github.com/open-mmlab/mmdetection3d
MMDetection3D 是一个专门的 3D 目标检测的算法库，在无人驾驶领域的应用特别多，通过激光雷达和毫米波雷达，感知无人驾驶车周围的3D点云数据，来进行3D 目标检测。

旋转目标检测算法库 MMRotate

算法库地址：https://github.com/open-mmlab/mmrotate
MMRotate 是专门做旋转目标检测的算法库。传统的目标检测算法，检测结果都是横平竖直的矩形框，而旋转目标检测算法是矩形框是有方向的，这是一个比较小众的研究领域。

图像分割算法库 MMSegmentation

算法库地址：https://github.com/open-mmlab/mmsegmentation
MMSegmentation 是专门做图像分割，尤其是语义分割的算法库。在无人驾驶、遥感图像、医疗影响等领域，语义分割都是非常重要的算法。算法库内容非常丰富，包括 600+ 个预训练模型和 40+ 篇算法复现。

图像分类 + 预训练 + 多模态算法库 MMPretrain

算法库地址：https://github.com/open-mmlab/mmpretrain
MMPretrain 图像分类、预训练和多模态任务的算法库。用 MMPretrain 可以实现图像分类、图像描述、视觉问答、视觉定位和视觉检索等任务。算法库中包含了 77 个算法， 508 个预训练模型。

姿态估计算法库 MMPose

算法库地址：https://github.com/open-mmlab/mmpose
MMPose 是姿态估计算法库，也可以理解成关键点检测算法库。MMPose 支持人脸、人体、手、动物、服饰的关键点检测。

人体姿态估计算法库 MMHuman3D

算法库地址：https://github.com/open-mmlab/mmhuman3d
MMHuman3D是一个三维人体姿态估计算法库，需要用一个3d的人体姿态模型去包络人体，使用3D的数字人去拟合真人。在动作捕捉和虚拟现实领域应用较为广泛。

视频动作识别算法库 MMAction2

算法库地址：https://github.com/open-mmlab/mmaction2
MMAction2是做视频动作识别的算法库。输入一段视频，输出视频中的人正在做的事情。可以实现行为识别、时序动作检测和时空动作检测。算法库中包括 200+ 预训练模型和 20+ 篇论文复现。

生成模型 + 底层视觉 + AIGC 算法库 MMagic

算法库地址：https://github.com/open-mmlab/mmagic
MMagic 算法库包括：Test-to-Image、图像重建、图像超分辨率、视频超分辨率、视频插帧、条件和非条件GANs、图像上色，图像翻译，图像填充，前景抠图。因为这些任务需要在像素层面上操作，因此也称为底层视觉。

模型部署工具箱 MMDeploy

算法库地址：https://github.com/open-mmlab/mmdeploy
MMDeploy 算法库能够将上面提到的各种算法库训练好的模型进行转换和部署。

其他

以上是 OpenMMLab 中比较经典的算法库，当然不止有这些，OpenMMLab中还开源了很多其他任务的算法库，比如 趣味应用游乐场 Playground （https://github.com/open-mmlab/playground）中包含了很多有趣的项目；MMTrancking（https://github.com/open-mmlab/mmtracking）用于单目标和多目标物体运动轨迹的追踪，画出物体的运动轨迹。