【OpenMMLab】OpenMMLab概述

目录

  • OpenMMLab概述
  • OpenMMLab 代表算法库
    • 目标检测算法库 MMDetection
    • 目标检测算法库2 MMYOLO
    • 文字检测识别算法库 MMOCR
    • 3D目标检测算法库 MMDetection3D
    • 旋转目标检测算法库 MMRotate
    • 图像分割算法库 MMSegmentation
    • 图像分类 + 预训练 + 多模态算法库 MMPretrain
    • 姿态估计算法库 MMPose
    • 人体姿态估计算法库 MMHuman3D
    • 视频动作识别算法库 MMAction2
    • 生成模型 + 底层视觉 + AIGC 算法库 MMagic
    • 模型部署工具箱 MMDeploy
    • 其他

OpenMMLab概述

同济子豪兄的精彩讲解
开发人工智能算法就离不开深度学习框架。OpenMMLab 诞生于2018年,是一个由中国开发者主导的人工智能计算机视觉开源算法体系。
【OpenMMLab】OpenMMLab概述_第1张图片
每个计算机视觉任务都有相应的OpenMMLab在Github上开源。OpenMMLab 已经累计开源了超过30个算法库,大量的预训练模型,涵盖了图像识别分类,目标检测,语义分割,姿态估计等等各种计算机视觉任务。而且这些算法库都在Github上免费开源,可以直接下载所有的源代码和预训练文件。
【OpenMMLab】OpenMMLab概述_第2张图片

OpenMMLab 代表算法库

目标检测算法库 MMDetection

算法库地址:https://github.com/open-mmlab/mmdetection
MMDetection 算法库可以解决目标检测、实例分割、全景分割和目标追踪任务,包含了这些任务几乎所有的开源算法和论文的复现,是 OpenMMLab 最具有影响力的算法库。

目标检测算法库2 MMYOLO

算法库地址:https://github.com/open-mmlab/mmyolo
MMYOLO 是基于PyTorch的 YOLO(You Only Look Once,是经典的单阶段目标检测算法) 系列算法的开源工具箱,是一个专门用来解决 YOLO 目标检测问题的算法库

文字检测识别算法库 MMOCR

算法库地址:https://github.com/open-mmlab/mmocr
OCR 是计算机视觉中很经典的一个问题,算法主要解决三类问题:

  • 文本检测:识别图像中的文本区域
  • 文本识别:识别图像中的文字内容
  • 关键信息提取:提取结构化图像上的信息,如票据、证件、拍照等
    MMOCR 算法库中实现很多经典的OCR算法,包括中文、英文和数字的识别
    【OpenMMLab】OpenMMLab概述_第3张图片

3D目标检测算法库 MMDetection3D

算法库地址:https://github.com/open-mmlab/mmdetection3d
MMDetection3D 是一个专门的 3D 目标检测的算法库,在无人驾驶领域的应用特别多,通过激光雷达和毫米波雷达,感知无人驾驶车周围的3D点云数据,来进行3D 目标检测。

【OpenMMLab】OpenMMLab概述_第4张图片

旋转目标检测算法库 MMRotate

算法库地址:https://github.com/open-mmlab/mmrotate
MMRotate 是专门做旋转目标检测的算法库。传统的目标检测算法,检测结果都是横平竖直的矩形框,而旋转目标检测算法是矩形框是有方向的,这是一个比较小众的研究领域。
【OpenMMLab】OpenMMLab概述_第5张图片

图像分割算法库 MMSegmentation

算法库地址:https://github.com/open-mmlab/mmsegmentation
MMSegmentation 是专门做图像分割,尤其是语义分割的算法库。在无人驾驶、遥感图像、医疗影响等领域,语义分割都是非常重要的算法。算法库内容非常丰富,包括 600+ 个预训练模型和 40+ 篇算法复现。
【OpenMMLab】OpenMMLab概述_第6张图片

图像分类 + 预训练 + 多模态算法库 MMPretrain

算法库地址:https://github.com/open-mmlab/mmpretrain
MMPretrain 图像分类、预训练和多模态任务的算法库。用 MMPretrain 可以实现图像分类图像描述视觉问答视觉定位视觉检索等任务。算法库中包含了 77 个算法, 508 个预训练模型。
【OpenMMLab】OpenMMLab概述_第7张图片

姿态估计算法库 MMPose

算法库地址:https://github.com/open-mmlab/mmpose
MMPose 是姿态估计算法库,也可以理解成关键点检测算法库。MMPose 支持人脸、人体、手、动物、服饰的关键点检测。
【OpenMMLab】OpenMMLab概述_第8张图片

人体姿态估计算法库 MMHuman3D

算法库地址:https://github.com/open-mmlab/mmhuman3d
MMHuman3D是一个三维人体姿态估计算法库,需要用一个3d的人体姿态模型去包络人体,使用3D的数字人去拟合真人。在动作捕捉和虚拟现实领域应用较为广泛。
【OpenMMLab】OpenMMLab概述_第9张图片

视频动作识别算法库 MMAction2

算法库地址:https://github.com/open-mmlab/mmaction2
MMAction2是做视频动作识别的算法库。输入一段视频,输出视频中的人正在做的事情。可以实现行为识别、时序动作检测和时空动作检测。算法库中包括 200+ 预训练模型和 20+ 篇论文复现。

【OpenMMLab】OpenMMLab概述_第10张图片

生成模型 + 底层视觉 + AIGC 算法库 MMagic

算法库地址:https://github.com/open-mmlab/mmagic
MMagic 算法库包括:Test-to-Image、图像重建、图像超分辨率、视频超分辨率、视频插帧、条件和非条件GANs、图像上色,图像翻译,图像填充,前景抠图。因为这些任务需要在像素层面上操作,因此也称为底层视觉。

模型部署工具箱 MMDeploy

算法库地址:https://github.com/open-mmlab/mmdeploy
MMDeploy 算法库能够将上面提到的各种算法库训练好的模型进行转换和部署。
【OpenMMLab】OpenMMLab概述_第11张图片

其他

以上是 OpenMMLab 中比较经典的算法库,当然不止有这些,OpenMMLab中还开源了很多其他任务的算法库,比如 趣味应用游乐场 Playground (https://github.com/open-mmlab/playground)中包含了很多有趣的项目;MMTrancking(https://github.com/open-mmlab/mmtracking)用于单目标和多目标物体运动轨迹的追踪,画出物体的运动轨迹。

你可能感兴趣的:(OpenMMLab,计算机视觉,深度学习,人工智能)