6 月月刊｜快来 Get OpenMMLab 算法库最新动态！

OpenMMLab 6 月月刊新鲜出炉！我们有 8 个算法库更新了版本。

• 对 MIM 命令进行了重构，安装下游算法库更高效更方便
• MMCV 针对英伟达和寒武纪芯片共添加了 3 个新算子
• MMRotate 新增支持了 ConvNeXt 和 Oriented Reppoints 2 个 CVPR2022 的新算法
• MMPose 支持了 TCFormer CVPR2022 的新主干网络；
• MMHuman3D 支持了新算法 ExPose，新参数化模型 STAR 和新数据集 GTA-Human
• MMDeploy 支持了 3 种 Transformer 模型的部署

详细功能支持细节可以继续翻阅以下内容查看哦～！

目录

贡献之星

活跃之星

亮点功能抢先看

MMPose

MMDeploy

MMCV

MMRotate

MMSegmentation

更新详情

1. MMPose

2. MMDeploy

3. MMCV

4. MMRotate

5. MMEdting

6. MMSegmentation

7. MMHuman3D

8. MMFlow

---

贡献之星

活跃之星

后续小编将为月度之星送上 OpenMMLab 限量定制礼品，请注意查收！

下面我们继续了解下 6 月 OpenMMLab 各个算法库都有哪些亮点功能发布吧~

亮点功能抢先看

MMPose

支持了新的主干网络 TCFormer（CVPR 2022），根据图片信息动态生成视觉token，更好地捕获细节信息

MMDeploy

支持了 3 种 Transformer 模型的部署：ViT、Swin Transformer、Segmenter

MMCV

在社区同学的共同努力下，MMCV 的代码都添加了 Type Hints

MMRotate

支持了 Oriented Reppoints 模型 (CVPR'22) (#286)

MMSegmentation

更新了 SegFormer 在 ADE20K 数据集上的模型权重，其中 B0、 B1、 B2 等模型的结果比源 paper 更高

MMHuman3D

支持 SMPL-X 估计方法 ExPose (ECCV'2020)，同时重建脸、手、身体

更新详情

1. MMPose

新功能

• 支持了新的主干网络 TCFormer (CVPR'2022)
• 增加了 RLE 在 COCO 数据集上的模型
• 提供了精度更高的 Swin 模型

代码改进

• 支持了 LayerDecayOptimizer 和 LearningRateDecayOptimizer
• 支持了使用 mim 安装
• 在 Webcam Demo 中增加了快速 cpu/gpu 设置
• 优化了部分 demo 脚本，增加了进度提示

Bug 修复

• 在 config 中统一使用 custom_hooks 字段，修复了之前使用 custom_hooks_config 与文档不一致的问题
• 修复了 Webcam Demo 退出时可能导致卡死的问题
• 修复了 video 3D demo 中 smoother 参数配置的一处错误

感谢 @Indigo6 在此版本中的贡献

更多详细内容请见：https://github.com/open-mmlab/mmpose/blob/master/docs/en/changelog.md

2. MMDeploy

新功能

• 支持 Swin Transformer 在 TensorRT 和 ONNX Runtime 中的部署
• 支持 Segmentor 在所有后端下的部署
• 为 MMDeploy SDK 增加了 Java 接口
• 支持双阶段旋转目标检测模型在 TensorRT 下的部署

代码改进

• 增加 onnx pass，融合 onnx 计算图中的 select-assign 子图
• 在 CircleCI 中增加更多的工作流，可以在 Linux, Windows 和 Linux-GPU 平台下测试
• 提供 YOLOV3 模型部署的拆分策略，并以文档说明
• 增加 GridPriorsTRT 插件，可把 TensorRT anchor 生成时间从 155us 降低到 13us
• 在 cmake 脚本中，增加 MMDEPLOY_TASKS 变量，统一 TASK 的访问方式，移除重复性代码
• 改进 ncnn patch embed
• 支持 Jetson Orin 的compute capability 87
• 调整 csrc 目录结构

Bug 修复

• 加回 build 目录，以便 TensorRT 搜索插件
• 修复 mmpose 导出 SDK 模型时遗漏了 “image shape” 的问题
• 修复 ncnn 单元测试错误
• 修复 ShuffleNetV2 在 TensorRT 中部署的错误
• 减缓对 mmcls 的版本约束
• 修复物体检测 C# 接口函数非法访问内存的问题
• 为 Tensor::Squeeze 增加 dim 参数
• 在 index.rst 补上遗漏的文档链接
• 支持 MMOCR 0.5+ 版本
• 修复 ncnn 推理结果张量的 shape 问题

感谢 @zambranohally @bgsuello @triple-Mu @DrRyanHuang @liuqc11 @Yosshi999 在此版本中的贡献

更多内容请见：

https://github.com/open-mmlab/mmdeploy/releases/tag/v0.6.0

3. MMCV

新功能

• 增加 ChamferDistance CUDA 算子
• 增加两个 MLU 算子：RoiAlignRotated 和 PSAMask

Bug 修复

• 修复 boxes_iou3d 没有正确计算 iou 的问题
• 修复 batched_nms 不能正确处理旋转框的问题

感谢 @RangeKing @gy-7 @triple-Mu @ytzhao @zengxiang68 @yangrisheng @WINDSKY45 @ShawnHXH @vansin @HarborYuan @tcexeexe @luopeichao @zcyKTH @filaPro @nxznm @liuyanyi @grimoire @zhouzaida @HAOCHENYE @ZwwWayne @teamwong111 @imabackstabber 在此版本中的贡献

更多内容请见：

https://github.com/open-mmlab/mmcv/releases/tag/v1.5.3

4. MMRotate

新功能

• 支持了 Oriented Reppoints 模型 (CVPR'22) (#286)
• 支持了 ConvNeXt 骨干网络 (CVPR'22) (#343)
• 支持了 RMosaic 数据增强 (#344)

代码改进

• 更新了 README.md 和 INSTALL.md (#342)
• 修改了 rotated_fcos_head 中的错别字 (#354)
• 更新了 base config 中保存权重与测试的间隔 (#347)
• 修改了 mdformat 版本以支持 python3.6 (#359)
• 在 setup.py 的 extras_require 中增加了 mim 相关依赖 (#359)
• 在 CI 中添加了 min 的相关测试 (#374)

Bug 修复

• 修复了 multiclass_nms_rotated 中 max coordinate 的计算问题 (#346)
• 修复了 PolyRandomRotate 中的 bug (#366)
• 修复了 huge_image_demo.py 内存占用过大的问题 (#368)

感谢 @LiWentomng @heiyuxiaokai @JinYuannn @sltlls @liuyanyi 在此版本中的贡献

更多内容请见：

https://github.com/open-mmlab/mmrotate/releases

5. MMEdting

代码改进

• [文档] 更新 OST 数据集指令 (#937)
• [测试] 在 CUDA 环境中没有实际执行 (#921)
• [文档] 首页演示视频添加水印 (#935)
• [测试] 添加 mim ci (#928)
• [文档] 更新 FLAVR 的 README.md (#919)
• [改进] 更新 .pre-commit-config.yaml 中的 md-format (#917)
• [改进] 在 setup.py 中添加 miminstall.txt (#916)
• [修复] 修复 dim/README.md 中的混乱问题 (#913)
• [改进] 跳过有问题的 opencv-python 版本 (#833)

Bug 修复

• [修复] 更新 cain_b5_g1b32_vimeo90k_triplet.py 配置文件 (#929)
• [文档] 修复 OST 数据集的链接 (#933)

更多内容请见：

https://github.com/open-mmlab/mmediting/blob/master/docs/zh_cn/changelog.md

6. MMSegmentation

新功能

• 更新了 SegFormer 在 ADE20K 数据集上的模型权重
• 提供了 MMSegWandbHook 以使用 Wandb
• 提供了使用 ResNet-18 主干网络的模型权重

代码改进

• 保持了 ViT 里面 cls_token_weight 的维度以方便 ONNX 导出
• 在模型推理的时候增加了 Padding 操作

Bug 修复

• 修复了若干 typo

感谢 @ayulockin 在此版本中的贡献

更多内容请见：

https://github.com/open-mmlab/mmsegmentation/blob/master/docs/en/changelog.md#v0260-712022

7. MMHuman3D

新功能

• 支持 SMPL-X 估计方法 ExPose（ECCV'2020）
• 支持新的人体参数化模型 STAR（ECCV'2020）
• 官方开源 GTA-Human 数据集（arXiv'2021），以及 SPIN-FT (51.98 mm) 和 PARE-FT (46.84 mm) 基线（精度数值均为 PA-MPJPE ，于 3DPW test 上测试，下同）

代码改进

• 重构配准管线并提升 SPIN 至 57.54 mm
• 增加在 Windows 系统上安装 MMHuman3D 的文档

Bug 修复

• 修复 SMPLify 管线中缺失的参数
• 调整 core、data 和 utils 中的引用结构，去除不必要的对 PyTorch3D 的依赖，获得最大 2.6x 的初始化速度提升

感谢 @kristijanbartol 在此版本中的贡献

更多内容请见：

https://github.com/open-mmlab/mmhuman3d/releases/tag/v0.9.0

8. MMFlow

新功能

• 添加了 FlowNet2 在 FlyingChairs 上的预训练结果

代码改进

• 在 setup.py 中将 mim 添加到 extras_require
• 修复 mdformat 版本以支持 python3.6 并删除 ruby install
• 添加 test_mim.yml 用于在 CI 中测试 mim 的命令

Bug 修复

• 为 PR 添加模板 (160)
• 修复 metafile 中的配置文件错误 (151)
• 修复 metafile 中损坏的 URL (157)
• 修复 README 中损坏 URL (147)

更多内容请见：

https://github.com/open-mmlab/mmflow/releases/tag/v0.5.0

看了这么多，这个 6 月你最 pick 哪个算法库的更新呢？快在评论区告诉我们吧~