5 月月刊｜快来 Get OpenMMLab 算法库最新动态！

让大家久等啦，OpenMMLab 5 月月刊已新鲜出炉！

目录

贡献之星

活跃之星

亮点功能抢先看

MMDetection

MMPose

MMRotate

MMEditing

MMHuman3D

更新详情

MMDetection

MMPose

MMClassification

MMDeploy

MMCV

MMRotate

MMEditing

MMSegmentation

MMSelfSup

MMHuman3D

MMFlow

---

首先和大家分享 5 月的贡献之星和活跃之星。

贡献之星

---

活跃之星

星星说：

大家好我是 Tau，知乎 id 镜子。

很高兴能在 OpenMMLab 社区认识很多的小伙伴，一起交流和学习。我个人兴趣上喜欢写作和分享，也很享受把前沿论文转化成自己的知识，梳理再撰写的过程。

目前个人比较熟悉的方向是关键点识别、图像检索、轻量模型，但是我觉得 cv 技术是一个整体，任何一个方向的技术都可能在别的地方开花结果，广泛地了解能带给我们更加清晰的视角，所以如果大家有遇到有意思的论文欢迎告诉我，一起交流和进步。

星星说：

感谢 MMDetection 帮我完成毕业论文~ OpenMMLab 在主流模型复现速度上，运行效率上以及易用程度上都是一流的框架，为降低学术科研门槛和项目部署难度做出了巨大贡献，希望你们越办越好！

后续小编将为月度之星送上 OpenMMLab 限量定制礼品，请注意查收！

---

下面我们继续了解下 5 月 OpenMMLab 各个算法库都有哪些亮点功能发布吧~

亮点功能抢先看

MMDetection

支持了丰富的 Wandb 可视化功能

左图是 GT，右图是 COCO 数据集上训练 1 个 epoch 的预测结果

MMPose

支持了手势识别功能和基于摄像头的 demo 演示

MMRotate

支持了 Rotated FCOS 算法

MMEditing

支持 FLAVR

支持 AOT-GAN

在 CAIN 中支持 ReduceLROnPlateau 策略

MMHuman3D

支持了 SmoothNet

---

下面再带大家继续了解下 5 月各个算法库具体的更新情况~

更新详情

MMDetection

新功能

- 支持了丰富的 Wandb 可视化功能。详情见 https://github.com/open-mmlab/mmdetection/issues/7391，还可以尝试 colab demo https://colab.research.google.com/drive/1RCSXHZwDZvakFh3eo9RuNrJbCGqD0dru?usp=sharing

- 支持目标检测算法 DDOD https://github.com/open-mmlab/mmdetection/blob/dev/configs/ddod//README.md

- 支持实例分割算法 SOLOv2 https://github.com/open-mmlab/mmdetection/blob/dev/configs/solov2/README.md

- 发布了 Mask2Former 对实例分割任务的支持 https://github.com/open-mmlab/mmdetection/blob/dev/configs/mask2former/README.md

- 支持了 ConvNeXt 在目标检测和实例分割中的应用 https://github.com/open-mmlab/mmdetection/blob/dev/configs/convnext/README.md

代码改进

- 添加 AvoidOOM 类避免 SOLO 算法 OOM

-支持从 cfg.evaluation.gpu_collect 读取 gpu_collect

- 通过加速数据加载阶段来加速视频推理

- 在 analyze_result.py 中加速结果分析。评估时间加速了 10 ~ 15 倍，现在只有任务 10 ~ 15 分钟

- 支持全景分割结果分析

- 发布带有 Swin-Large 主干的 DyHead

- 文档更新和新增

Bug 修复

- 允许在不同设备上启用 YOLOX 训练

- 修复间隔不等于 1 评估时的日志绘图错误

- 修复 HTC 的 RuntimeError

感谢

@DarthThomas@solyaH@LutingWang @chenxinfeng4@Chenastron@austinmw @Shanyaliux @Y-M-Y@Irvingao@zhanggefan @Keiku@PeterVennerstrom@ayulockin

在此版本中的贡献

详细内容请见：

https://github.com/open-mmlab/mmdetection/releases/tag/v2.25.0

MMPose

新功能

- 支持了手势识别功能，详见 https://github.com/open-mmlab/mmpose/blob/v0.27.0/demo/docs/gesture_recognition_demo.md

- Webcam API 重要升级，向用户提供更简单易用的接口和更完善的文档

• 教程文档：https://github.com/open-mmlab/mmpose/blob/v0.27.0/docs/zh_cn/tutorials/7_webcam_apimd
• API 查询：https://mmpose.readthedocs.io/en/latest/api.html#mmpose-apis-webcam
• Demo 演示：https://github.com/open-mmlab/mmpose/blob/v0.27.0/demo/docs/webcam_demo.md

代码改进

- 支持在没有标注文件的情况下导出 COCO 格式预测结果

- 优化了 pre-commit hook 配制，不再需要安装 ruby

- 更新了安装文档和 FAQ 页面

Bug 修复

- 修复了数据集中 bbox 格式转换中的误差问题

- 修复了 3D 关键点 demo 中调用旧 bbox 格式转换接口的问题

- 更新了 PVT config 中部分设置格式

- 修复了 get_track_id 接口中对参数描述不准确的问题

- 修复了对 torch.meshgrid 在 torch 1.10 以上版本的兼容问题

- 移除了部分冗余的 Transformer 相关模块

感谢

@chubei-oppen @pallgeuer

在此版本中的贡献

详细内容请见：

https://github.com/open-mmlab/mmpose/blob/master/docs/en/changelog.md

MMClassification

新功能

- 添加了一个 Wandb 可视化 hook，支持上传权重文件、验证结果等内容到 Wandb

代码改进

- 使用了 Mdformat 作为 markdown 格式化的工具，避免了对 ruby 的依赖

Bug 修复

- 修复了 --local_rank 参数的错误

感谢

@ayulockin @timothylimyl

在此版本中的贡献

详细内容请见：

https://github.com/open-mmlab/mmclassification/releases/tag/v0.23.1

MMDeploy

新功能

- 提供 CUDA + TensorRT 和 CPU + ONNX Rutnime 在 Linux、Windows 下的预编译包

- 在 SDK 中增加了实验性质的特性 executor

- 支持 ViT、LiteHRNet 到 ncnn 的部署

- 支持更多文字检测模型：PANet、PSENet 和 DBNet，并在 SDK 中实现了它们后处理的 CUDA 版本

- 为 SDK 增加 C# 接口

- 支持 ncnn 模型量化

- 支持 MMRotate 单阶段模型到 TensorRT 和 ONNX Runtime 的部署

- 支持 MMRazor

代码改进

移除 spdlog 手动安装方式，但仍然可通过选项使用外部安装包

- 增加 SDK Python 接口应用样例

- 支持 ONNX passes

- 解耦 pytorch2onnx 和 onnx2backends 模块

- 增加测试脚本，支持 codebase 模型在所有后端和 SDK 中的精度测试

- 增加 MDCN 和 DeformConv TensorRT 自定义算子 FP16 精度的实现

- 为 MMDeploy 在 Linux GPU 平台下的构建，提供了交互式编译脚本

- 精简 global average pooling 导出的 ONNX 算子

- 重构 onnx2ncnn ，增加了测试用例并简化了代码

- 移除 MMDetection rewriter 模块中 expand 的操作

- 文档有以下更新

• 重写了快速入门 和 Jetson 平台下的构建指南
• 修复 readthedocs 中 API 章节渲染不出来的错误
• 新增 2 篇模型部署入门教程：ONNX 模型的修改与调试、在 PyTorch 中支持更多 ONNX 算子

Bug 修复

- 修复在 CUDA 环境下无法使用 ONNX Runtime CPU 推理的问题

- 解决 PSPNet 在 LibTorch 中部署失败的问题

- 解决升级 MMPose v0.26.0 带来的兼容性问题

- 修复 Mask R-CNN 推理时设备不一致的问题

- 移除 MMSegmentation EncodeDecoder rewrite 中重复的 resize 计算

- 关闭在 headless devices 的显示推理结果的功能

- 解决 MMDetection3D pillarencode 部署失败的问题

- 修复多 batch 和静态 shape ONNX 模型导出失败的问题

- 修复 CI

- 把当前路径作为 --work-dir 的缺省值

感谢

@sanjaypavo @PeterH0323 @tehkillerbee @zytx121 @triple-Mu @zhiqwang @gyf304 @lakshanthad @NagatoYuki0943

在此版本中的贡献

详细内容请见：

https://github.com/open-mmlab/mmdeploy/releases/tag/v0.5.0

MMCV

新功能

- 支持注册函数

- 支持 adjust_hue

- 添加可视化学习率脚本

- 添加 ClearMLLoggerHook

- 添加 rotated_feature_align 算子的 CPU 和 ONNX 实现

代码改进

- 3D IoU 算子替代 BEV IoU 算子

- 加速 bbox_overlaps 算子

Bug 修复

- 修复 Windows 下 collect_env() 编码问题

- 修复 bbox overlap 算子 fp16 编译失败问题

- 修复 nms rotate 算子非法内存访问问题

- 修复实例在覆盖 FileClient 时不能重用的问题

- 修复 Config 的 dump 方法

感谢

@JarvisKevin @filaPro @HIT-cwh @wlf-darkmatter @akravchuk97 @SuTanTank @WilliamKyle @bryandeng @tehkillerbee @cuhk-hbsun @jmercat @triple-Mu @sundongwei @HuDi2018

在此版本中的贡献

详细内容请见：

https://github.com/open-mmlab/mmcv/releases/tag/v1.5.1

https://github.com/open-mmlab/mmcv/releases/tag/v1.5.2

MMRotate

新功能

- 支持了 PolyRandomRotate 指定离散角度值

- 支持了 RRandomCrop

- 在 merge_results 和 huge_image_demo.py 中支持了 mask 的可视化

- 支持训练时不过滤没有真值的图片

- 支持了 MultiImageMixDataset

代码改进

- 添加了 torchserve 中文文档

- 修复了 README 中的错误描述

- 修复了多尺度裁剪中重叠值的错误描述

Bug 修复

- 修复了 Windows CI

- 修复了配置文件中数据集路径错误

- 修复了可视化 HRSC2016 检测结果的错误

感谢

@liuyanyi @nijkah @remi-or @yangxue0827

在此版本中的贡献

详细内容请见：

https://github.com/open-mmlab/mmrotate/releases/tag/v0.3.1

MMEditing

新功能

- 支持 AOT-GAN (#681)

- 支持 Vimeo90k-triplet 数据集 (#810)

- 为 mm-assistant 添加默认 config (#827)

- 支持 CPU demo (#848)

- 在 LoadImageFromFileList 中支持 use_cache 和 backend (#857)

- 支持 VFIVimeo90K7FramesDataset (#858)

- 在 VFI pipeline 中支持 ColorJitter (#859)

- 支持 ReduceLrUpdaterHook (#860)

- 在 IterBaseRunner 中支持 after_val_epoch (#861)

- 支持 FLAVR Net (#866, #867, #897)

- 支持 MAE 评估方式 (#871)

- 使用 mdformat (#888)

- 在 CAIN 中支持 ReduceLROnPlateau 策略 (#906)

代码改进

- 在训练和测试脚本中增加 --cfg-options 参数 (#826)

- 更新 MMCV_MAX 到 1.6 (#829)

- 在 README 中更新 TOFlow (#835)

- 恢复 beirf 安装步骤，合并可选要求 (#836)

- 在 citation 中使用 {MMEditing Contributors} (#838)

- 增加定制损失函数的教程 (#839)

- 在 README 中添加安装指南 (wiki ver) (#845)

- 在中文文档中添加“需要帮助翻译”的说明 (#850)

- 在 README_zh-CN.md 中添加微信二维码 (#851)

- 支持 SRFolderVideoDataset 的非零帧索引，修复拼写错误 (#853)

- 创建 docker 的 README.md (#856)

- 优化 IO 流量偏差 (#881)

- 将 wiki/installation 移到 docs (#883)

- 添加 myst_heading_anchors（#887)

- 在 inpainting demo 中使用预训练模型链接 (#892)

Bug 修复

- 在 restoration_demo.py 中将 - 改为 _ (#834)

- 移除 requirements/docs.txt 中的 recommonmark (#844)

- 将 README 中的 EDVR 移动到 VSR 类别中 (#849)

- 修改 crop.py，移除跨栏 F-string 中的 , (#855)

- 修改 test_pipeline，将重复的 lq_path 改为 gt_path (#862)

- 修复 TOF-VFI 的 unittest 问题 (#873)

- 解决 VFI demo 中帧序列出错问题 (#891)

- 修复 README 中的 logo & contrib 链接 (#898)

- 修复 indexnet_dimaug_mobv2_1x16_78k_comp1k.py (#901)

感谢

@quincylin1 @nijkah @jayagami @ckkelvinchan @ryanxingql @NK-CS-ZZL

在此版本中的贡献

详细内容请见：

https://github.com/open-mmlab/mmediting/blob/master/docs/zh_cn/changelog.md

MMSegmentation

新功能

- 基于 MLU 芯片的 PyTorch 上进行训练推理

代码改进

- 更新算法库 README 和 安装文档

- 添加配置文件中 data 介绍文档

- 删除 DS_Store 文件

Bug 修复

- 修复当batch size 为 1 时，BCELoss 的 bug

- 修复当 `align_corner` 为 True 时 resize 的 bug

- 修复 Dockerfile 中启动 demo 的脚本

- 修正 inference_demo.ipynb 中的路径

- 修复 colab demo 中的 build_segmentor

详细内容请见：

https://github.com/open-mmlab/mmsegmentation/blob/master/docs/en/changelog.md

MMSelfSup

新功能

- 更新 BYOL 模型和结果

代码改进

- 应用 mdformat 进行文档检查

- 文档更新，README，算法简介，安装文档等

Bug 修复

- 修复关于 CAE 和 MAE 设置 qkv 偏置参数的问题

- 修复 MAE 配置文件拼写错误

感谢

@luuuyi

在此版本中的贡献

详细内容请见：

https://github.com/open-mmlab/mmselfsup/releases/tag/v0.9.1

MMHuman3D

新功能

- 支持新的平滑方法 SmoothNet，为基于图片和视频的方法提升精度

代码改进

- 重构 estimate_smpl.py，使用压缩后的姿态和形状从而避免多人可视化的可能形状错误和空间浪费

- 新增 12 个文档的中文版本

Bug 修复

- 修复 models、conventions 及 cameras 中的循环引用问题，并且只导入需要的 builder 可以在模块初始化时获得最多 2.5 倍速度提升

- 修复 PARE 配置文件中的错误

- 修复 convert_kps 函数中错误的数据类型和值

感谢

@Naive-Bayes @ykk648

在此版版本中的贡献

详细内容请见：

https://github.com/open-mmlab/mmhuman3d/releases/tag/v0.8.0

MMFlow

代码改进

- 重写安装文档和算法库 README 文档

Bug 修复

- 修复稀疏光流推理时的 bug

- 修复输入图像不是 2^N 的整数倍

---

看了这么多，这个 5 月你最 pick 哪个算法库的更新呢？快在评论区告诉我们吧~