叮咚 ~ 你订阅的 OpenMMLab 开源社区 1 月月刊已送达

目录

活跃之星

月度贡献者

星星说 | 活跃之星：章舸帆

MM 系列多个算法库焕新上线

1. MMCV

2. MMDetection

3. MMClassification

4. MMPose

5. MMDetection 3D

6. MMSegmentation

7. MMOCR

8. MMGeneration

9. MMEditing

10. MMSelfsup

11. MMHuman 3D

12. MMDeploy

1月文章推荐

---

OpenMMLab 1 月社区月刊发布！在各算法库发布新版本的同时，1 月评选出 2 位活跃之星、和 2 位月度贡献者~

首先和大家分享的是获得 OpenMMLab 1 月的活跃之星！

活跃之星

一位是在 QQ 社群随时解答大家的问题，主要研究空间信息的—— 止战之殇

另一位社区活跃之星，是来自OpenMMLab 微信社群，主要研究智驾感知算法的 —— 章舸帆

月度贡献者

nijkah【韩】同学凭借向 MMCV、MMEditing、MMDetection中提出 9 个 PR ，并Review MMCV 一个 PR ，成为 1 月月度贡献者：

leng-yue【美/中】同学凭借向 MMHuman 3D 提出 2 个 PR ，成为 1 月月度贡献者：

星星说 | 活跃之星：章舸帆

我从入行起就一直是 MM 系列的忠实用户，而 OpenMMLab 社区也是我进入 DL 领域的领路人、启蒙老师。入行以来，在社区大佬们的谆谆教诲下，我收获颇丰。奈何岁月沧桑，年华易老，现在的我只求在 35 岁退休前尽我所能地回报社区，多参与讨 (guàn) 论 (shuǐ)、多发 (fàng) P (zuǐ) R (pào)，以绵薄之力回报社区对我的再教育之恩。

后续小编将为社区之星送上OpenMMLab 限量定制礼品，请注意查收！

下面我们继续了解下 1 月各个算法库发版情况吧！

MM 系列多个算法库焕新上线

1. MMCV

新功能

- 添加一系列旋转检测算子

Bug 修复

- 修复 BaseTransformerLayer 中的错误赋值

- 修复 cast_tensor_type 中 inputs 类型与 src_type 不一致导致的问题

- 修复 scatter 处理 CPU 和 GPU 输出不一致问题

- 修复 MomentumUpdaterHook 的 warmup 策略

代码及文档改进

- CyclicLrUpdaterHook 支持 decay 学习率的最大值

- WandbLoggerHook 支持上传文件

- HSigmoid 对齐 PyTorch 官方实现

- 移除对 "python setup.py test" 的支持

- box_iou_rotated 和 nms_rotated 添加 clockwise 参数

- 完善 LoggerHook 文档

感谢@zytx121 @nijkah @hokmund @Bilibilee @LudoBar @imyhxy @zhanggefan @fcakyon

在此版本中的贡献。

2. MMDetection

新功能

- 支持可视化过程中给不同类设置不同颜色

- 支持 CPU 训练

- 提供了下载 COCO, LVIS 和 VOC 数据集的脚本

Bug 修复

- 修复使用 Swin-S 作为骨架网络的 RetinaNet 权重转换问题

- 更新 Compose 的 __repr__ 函数

- 修改构建 docker 镜像时候出现的 BadZipFile 错误

- 修复非分布式多 GPU 训练/测试中的错误

- 使用 bbox clamp 类修复 PyTorch 1.10 中出现的 in-place 错误

- 去除数据集包装器中必须有 PALETTE 属性的限制

- 修复 PAA 算法 reassign 时权重设置错误问题

代码改进

- 通过允许设置多进程参数来加速训练

- 在中文 readme 文件中添加中文教程链接

- 弃用对 “python setup.py test” 的支持

- 重新组织 metafiles 和配置文件

- 通过添加 SigmoidGeometricMean 修复训练 TOOD 期间的 None grad 问题

感谢@zimoqingfeng, @srishilesh, @imyhxy, @jenhaoyang, @jliu-ac, @kimnamu, @ShengliLiu, @garvan2021, @ciusji, @DIYer22, @kimnamu, @q3394101, @gaotongxiao, @topsy404, @AntoAndGar, @nijkah在此版本中的贡献。

3. MMClassification

新功能

- 支持 K 折交叉验证

- 支持 HRNet、ConvNeXt、Twins 和 EfficientNet 四个主干网络和预训练模型

- 支持 PyTorch 模型转换至 Core-ML 模型

Bug 修复

- 修复了多标签验证中默认指标选项的错误

- 修复了 CAM 可视化工具在高版本 pytorch-grad-cam 中的错误

代码及文档改进

- 重构了 CPU 训练和推理的支持

- 增强了 Asymmetric loss，以支持单标签分类

感谢@rlleshi @WINDSKY45 @shinya7y @Minyus @0x4f5da2 @imyhxy @dreamer121121 @xiefeifeihu

在此版本中的贡献。

4. MMPose

新功能

- 新增 MMPose Webcam API: 用于快速开发基于 MMPose 的简单视频交互应用

- 支持 ConcatDataset

- 支持 CPU 训练和测试

Bug 修复

- 修复 pre-commit hook 中的潜在随机行为

- 修复 albumentation 依赖安装方式

- 修复 HSigmoid 默认参数与 mmcv 不兼容的问题

代码改进

- 支持在 data pipeline 中的 LoadImageFromFile 操作中设置 file_client_args

- 支持 CircleCI

- 改善了 CI 效率，在仅修改文档时跳过 unittest 部分

- 改善文档质量

5. MMDetection 3D

Bug 修复

- 删除对于“python setup.py test”的支持（#1164）

- 修复 旋转轴=0 时的旋转矩阵（#1182）

- 修复了非分布式多 gpu 训练/测试时的错误（#1197）

- 修复了空的 3D 框生成角点时可能出现的错误（#1212）

代码改进

- 在语义分割任务中支持 3D 翻转增强功能（#1182）

- 更新 regnet 元文件（#1184）

- 在常见问题解答中添加点云标注工具的介绍（#1185）

- 在 nuScenes 数据集 doc（#1193）中添加有关相机内参的解释

感谢@ZwwWayne, @ZCMax, @Tai-Wang, @wHao-Wu 在此版本中的贡献。

6. MMSegmentation

亮点

- 支持模型 CPU 训练和推理

- 支持分割算法 Segmenter: Transformer for Semantic Segmentation （ICCV2021）

- 支持遥感图像分割数据集 ISPRS Potsdam 和 Vaihingen

- 支持 Mosaic 数据集增强功能 和 并增加了 MultiImageMixDataset 数据集包装

新功能

- 增加 SegFormer 在 Citycapes 数据集上的 benchmark

- 增加 UNet 使用混合损失函数 在4个医学图像数据集里的 benchmark

- 增加自动恢复训练（ auto resume） 和 日志收集（log collector） 功能

Bug 修复

- 修复了 readthedoc 里面错误的模型统计量

- 在没有给定随机种子时给 `palette` 设置随机种子

- 在 class_names.py 里面增加 COCOStuffDataset 类

- 修复在非分布式的多 GPU 训练和推理时的 bug

- 删除了 STDCHead 里面的冗余代码

- 修复了文档里的一些 typo

- 修复了由 setup_multi_processes 造成的日志重复输出的 bug

代码改进

- 在 pre-commit hook 里面升级了 isort 包

- 在 ViT 和 Swin Transformer 里面使用 MMCV 的 load_state_dict 函数

- 在 CPU 训练和推理模式时增加判别 PointRend 的 exception

感谢@jbwang1997 @BeaverCC @Echo-minn @rstrudel 在此版本中的贡献。

7. MMOCR

新功能

- OpenSet KIE 中支持边的权重的可视化 (#677)

- 优化配置，提速训练（#757）

- 支持使用 CPU 训练（#752）

Bug 修复

- 修复以包安装 MMOCR 时无法 import mmocr.apis.test 的问题 （#667）

- 修复 SAR Decoder 中 bi-RNN 的配置问题（#690）

- 修复 totaltext converter 中对新版 pyyaml 的兼容问题（#753）

- 限制 OpenCV 最高版本以规避已知的 segmentation fault 问题（#694）

感谢@cuhk-hbsun, @gaotongxiao, @Harold-lkk, @AllentDan, @MhLiao, @TommyZihao 在此版本中的贡献。

8. MMGeneration

新功能

- Evaluation 支持 DDP 并行（#151）

- 支持 BigGAN 风格的 Spectral Norm（#159）

- 支持隐空间映射并导出视频（#167）

- 支持 mim（#176）

- 支持 Dockerfile（#200）

- 支持 Improved-DDPM 方法（#205）

Bug 修复

- 修复 SinGAN Dataset 的配置文件错误（#192）

- 修复 SAGAN，SNGAN 以及 BigGAN 默认的 Spectral Norm 参数（#199，#213，#215，#217）

感谢@JiangongWang @TommyZihao 在此版本中的贡献。

9. MMEditing

新功能

- 支持 AOT-GAN (#674, #675, #676)

- 支持 CAIN (#683, #691, #709, #713)

- 新增 basic interpolater (#687)

- 新增 BaseVFIDataset and VFIVimeo90KDataset (#695, #697)

- 新增 video interpolation demo (#688, #717)

- 在 RDDBNet 中支持多种 scale (#699)

- 在 demo 中支持 Ref-SR 推理 (#716)

- 在 REDS 数据集上支持 EDVR-L (#719)

BUG 修复

- 修复文档中的链接问题 (#703, #704)

- 修复 Dockerfile 中的 MMCV 参数 (#708)

- 修复不可执行文件的文件权限 (#718)

代码改进

- 将 CI 中的 Pillow 版本从 6.2.2 to更新至 8.4 (#693)

- 在 SRREDSMultipleGTDataset 中增加 'repeat' 参数 (#672)

感谢@quincylin1 @Juggernaut93 @anse3832在此版本中的贡献。

10. MMSelfsup

新功能

- 支持 MoCo v3 算法

- 支持部分算法 cpu 训练，方便用户调试

BUG 修复

- 修复 persistent_worker 应用的 pytorch 版本问题

- 修复 k-means 损失输出的格式问题

- 修复 cifar 数据集读取问题

- 修复 test.py 中 dataset.evaluate 调用时传参问题

- 修复 RandomAppliedTrans 中 prob 属性未赋值的问题

代码改进

- 当 Pytorch 版本大于 1.7 val_dataloader 添加 persistent_workers=True

- 支持训练时未设置种子时，设置随机种子

代码重构

- 简化 CI，节省资源

- 在构建 evaluation dataloader 时增加 drop_last 选项

- 优化训练启动时间

- 升级 isort 版本到 5.10.1

感谢

@soonera, @Kaminyou, @mitming, @RangeKing, @xcnick, @st9007a, @Muyun99在此版本中的贡献。

11. MMHuman 3D

新功能

- 复现了更强的 HybrIK 基线（3DPW 上达到 PA-MPJPE49.02）

- 增加了 SMCReader 用以支持新的数据结构 SMC

- 支持在非 slurm 环境下多 GPU 训练/测试

- 支持 SMPL 参数的刚性变换

- 增加基于视频的推理管线用以支持 VIBE 的算法示范

- 增加使用 HuMMan 数据训练的支持

Bug 修复

- 修复了数据增强导致 2D 关键点损失无法收敛的问题

- 修复了 SMPL 参数使用随机旋转增强数据的问题

- 修复了数据预处理工具的多个问题

- 修复了显存因不必要的初始化而浪费的问题

代码改进

- CameraParameter 接受 numpy 和 torch tensor 及 K，R，T 可以通过统一方法获取

- 支持在训练期间验证以及更多的测试指标如 PVE

- 增加 HuMMan 数据集的预处理工具

12. MMDeploy

新功能

- 支持在nVIDIA Jetson Nano, TX2, AGX Xavier 等设备上的部署

- 新增 SDK python 接口

- 支持 yolox 通过 ncnn 进行部署

- 支持分割模型 UNet 的部署

- 新增 docker files

BUG 修复

- 解决了 ONNXRuntime 中 NMS 操作可能输出空 tensor 的问题

- 解决了在 TensorRT 7 中 SSD 部署失败的问题

- 修复了 MMSegmentation 模型导出动态shape的问题

- 修复了 模型通过 pplnn 部署时遇到的问题

代码改进

- 为 CI 增加覆盖率报告

- 重构 config

- 移除模型转换过程中冗余的数据拷贝

- 简化单 batch NMS 操作

感谢@Stephenfang51@zhiqwang @tehkillerbee @Echo-minn 在此版本中的贡献。

1月文章推荐

Vision Transformer 必读系列文章

手把手教你如何高效地在 MMCV 中贡献算子

揭晓 OpenMMLab 2021 年度贡献之星，重磅奖品整装待发

OpenMMLab 表情包上线啦

本月的月报就为您播报到这感谢您的订阅~

大家在月报中想看咱给您汇报什么请在评论区告诉我们哦！

QQ群：

920178331

微信总群：

Open喵喵Lab 1/2/3/4 群

微信细分群：

MMDetection、MMSegmentation、MMDetection3D、MMAction2、MMPose&Human3D、MMSelfSup、MMOCR、MMCV & MIM、MMRazor、MMDeploy、MMCLassfication、MMEditing

欢迎私信加小助手微信，邀请进入微信群~