叮咚~你订阅的 OpenMMLab 3 月月刊已送达

让大家久等啦,OpenMMLab 3 月月刊已新鲜出炉!

首先和大家分享 3 月的贡献之星和活跃之星。

贡献之星

叮咚~你订阅的 OpenMMLab 3 月月刊已送达_第1张图片
个人主页: https://github.com/ailingzengzzz
叮咚~你订阅的 OpenMMLab 3 月月刊已送达_第2张图片
个人主页: https://github.com/zhanggefan

活跃之星

叮咚~你订阅的 OpenMMLab 3 月月刊已送达_第3张图片

叮咚~你订阅的 OpenMMLab 3 月月刊已送达_第4张图片

星星说

大家好我是五喵-闻星,现 MMDeploy 社区管理员~

一直以来使用 OpenMMLab 全家桶做实验、打比赛、做项目,并给 MMDetection 和 MMCV 提了过几个非高质量 PR,此过程中在社区同学的指点下,熟悉了 OpenMMLab 架构设计哲学,并把 OpenMMLab 的代码规范、单元测试和 CI/CD 等现代化开发链路引入到自己的项目中。

近期正在尝试研究让 MMDeploy 支持 Tengine 推理引擎,希望能成为 MMDeploy 高质量 PR。

MMDeploy 模型部署工具作为 OpenMMLab 生态视觉模型落地的关键一环,作为管理员,希望大家一起来 MMDeploy 语雀小组一起 ①共读源码 ②探索 MMDeploy 宝藏 ③反馈心声 ④分享你和 MMDeploy 的故事~https://www.yuque.com/mmdeploy

后续小编将为月度之星送上 OpenMMLab 限量定制礼品,请注意查收!

下面我们继续了解下 3 月 OpenMMLab 各个算法库都有哪些亮点功能发布吧~

亮点功能抢先看

MMDetection

  • 支持了全景分割领域的 SOTA 算法 Mask2Former,目前已发布两个小模型,其余模型正在准备中。此外,当前版本的 Mask2Former 支持全景分割和实例分割的推断和评估。
叮咚~你订阅的 OpenMMLab 3 月月刊已送达_第5张图片
叮咚~你订阅的 OpenMMLab 3 月月刊已送达_第6张图片
叮咚~你订阅的 OpenMMLab 3 月月刊已送达_第7张图片

MMPose

  • 支持了多视角 3D 姿态估计数据集 Campus 和 Shelf,并提供了 VoxelPose 预训练模型和 demo。(图片取自 VoxelPose: Towards Multi-Camera 3D Human Pose Estimation in Wild Environment ,ECCV 2020)
叮咚~你订阅的 OpenMMLab 3 月月刊已送达_第8张图片

MMClassification

  • 添加了 CSP Net 系列模型
叮咚~你订阅的 OpenMMLab 3 月月刊已送达_第9张图片

MMDeploy

  • 发布了 2 篇教程、2 篇 TorchScript 解读文章
叮咚~你订阅的 OpenMMLab 3 月月刊已送达_第10张图片

MMRotate

  • 支持了 Circular Sommth Label (CSL, ECCV'20) 模型
叮咚~你订阅的 OpenMMLab 3 月月刊已送达_第11张图片

MMDetection3D

  • 迁移所有算子到 mmcv,mmdet3d 的安装不再需要相关编译
  • 支持了并行的 Waymo 数据集转换并修复了不精确的时间戳保存,大大提升了数据转换速度
  • 更新了部分坐标系重构后的预训练模型

MMTracking

  • 支持 Quasi-Dense Similarity Learning for Multiple Object Tracking 算法
叮咚~你订阅的 OpenMMLab 3 月月刊已送达_第12张图片

MMOCR

  • 新增了 16 个全新的 OCR 数据集,覆盖文档,手写体,场景文字等多个不同场景,并提供了数据集下载脚本和标注格式转换代码

MMEditing

  • 支持视频插帧算法 TOFlow

MMSegmentation

  • 支持 K-Net 算法 (#1289)
叮咚~你订阅的 OpenMMLab 3 月月刊已送达_第13张图片

MMSelfSup

  • 支持新的掩码学习算法 - SimMIM,简单而有效的自监督学习结构
叮咚~你订阅的 OpenMMLab 3 月月刊已送达_第14张图片

MMGeneration

  • 支持了 StyleGANv3 的训练,包括 from scratch 和 finetuning,现在你可以用 MMGeneration 训练当下最好的生成模型之一。
叮咚~你订阅的 OpenMMLab 3 月月刊已送达_第15张图片

各算法库更新情况

MMDetection

新功能

  • 支持了全景分割算法 Mask2Former
  • 支持了 EfficientNet 骨干网络,并提供了 RetinaNet+EfficientNet+FPN 的微调结果
  • 提供了 TorchVision 高精度预训练权重在下游任务微调的最佳实践

代码改进

  • 新增了 How-to 文档教程,后续会不断更新完善 https://mmdetection.readthedocs.io/en/latest/tutorials/how_to.html
  • 用户可以通过 MMDET_DATASETS 环境变量来更方便快捷地设置数据集路径,而无需软连接或者修改配置文件
  • 更新了分布式训练和测试脚本,方便用户直接在多机多卡上启动 mmdet 任务
  • coco_panoptic 支持了实例分割评估
  • 允许在 LoadImageFromFile 中设置 channel_order 参数
  • YOLOX 新增训练中打印图片宽高信息

Bug 修复

  • 修复全景分割评估中的内存泄漏
  • 增强 analyze_logs.py 脚本鲁棒性

感谢 @haofanwang, @shinya7y, @yangrisheng, @triple-Mu, @HikariTJU, @imflash217, @274869388,, @matrixgame2018, @jamiechoi1995, @JingweiZhang12, @Xiangxu-0103, @osbm, @ceroytres, @bunge-bedstraw-herb, @Youth-Got, @daavoo, @jiangyitong, @CCODING04, @yarkable 在此版本中的贡献。

更多内容请见:

https://github.com/open-mmlab/mmdetection/releases/tag/v2.23.0

MMPose

新功能

  • 支持了 Campus 和 Shelf 数据集,并提供了 VoxelPose 预训练模型( "3D Pictorial Structures for Multiple Human Pose Estimation", CVPR'2014)
  • 新增 Smoother 模块用于姿态估计结果的时序平滑,支持 Gaussian, Savitzky-Golay, OneEuro, SmoothNet 等多种可配置滤波器
  • 新增多视角 3D 姿态估计 demo
  • 支持多机分布式训练

代码改进

  • 更新了 HRFormer 配置文件和预训练模型
  • 支持各分布式节点使用不同的随机数种子
  • 优化文档内容

Bug 修复

  • 修复 RHD 数据集可视化点序错误的问题
  • 修复 Windows 下自动生成模型 metafile 时路径格式不统一的问题
  • 修复 channel_shuffle 中使用隐式通道数表达导致模型导出报错的问题
  • 修复 Webcam API 中检测模型物体类别解析的一处 bug
  • 修复 custom_hook 选项未正确暴露给用户的问题
  • 更新 DockerFile 中 MMCV 的安装方式
  • 修复关键点可视化中未正确跳过不可见点的问题

感谢 @ailingzengzzz,@YoniChechik,@YoniChechik,@YoniChechik,@bladrome,@womeier 在此版本中的贡献。

更多内容请见:

https://github.com/open-mmlab/mmpose/blob/master/docs/en/changelog.md

MMClassification

  • 添加了 CSP Net 系列模型
叮咚~你订阅的 OpenMMLab 3 月月刊已送达_第16张图片

新功能

  • 添加 CSP Net 系列模型,包括 CSP ResNet、CSP ResNeXt、CSP DarkNet
  • 添加了一个 CustomDataset,帮助大家更方便地使用自定义数据集
  • 支持了 ConvMixer 模型
  • 支持了 RepMLP 模型
  • 支持了 CUB 数据集
  • 支持了 ResizeMix 数据增强算法

代码改进

  • 支持 KFoldDataset 的 get_cat_ids 和 get_gt_labels 方法
  • 在数据集的 worker_init_fn 方法中添加 PyTorch 随机种子的设置

Bug 修复

  • 修复了 ConvNeXt 输出特征图不连续导致的问题

感谢 @Hydrion-Qlz, @huyu398, @okotaku 在此版本中的贡献。

更多内容请见:

https://github.com/open-mmlab/mmclassification/releases/tag/v0.22.0

MMDeploy

新功能

  • SDK 支持了 MMPose 模型的推理。包括:HRNet、LiteHRNet、MSPN
  • 支持了 MMDetection3D 的模型部署。包括:PointPillars 和 CenterPoint(pillar version)
  • 支持了 Android 平台
  • 支持了 TorchScript 导出和推理

代码改进

  • 优化了TRTMultiLevelRoiAlign 算子
  • 复用 ONNXRuntime 的 RoiAlign 算子,移除为之添加的 MMCVRoiAlign 自定义算子
  • 新增 TensorRT 算子 DCN
  • 重构 Model Converter 中的 rewriter 模块
  • 更新 MMDeploy CMake package,消除第三方库的绝对路径

Bug 修复

  • 修复 headless installation crash 的问题
  • 订正 MMSeg 的部署 config 错误的问题
  • 修复预处理模块的 use-after-free 问题
  • 解决了与 torch 1.11 不兼容的问题
  • 修复 yolox 模型部署失败的问题

感谢 @SemyonBevzuk, @raykindle, @yydc-0, @haofanwang, @LJoson, @PeterH0323 在此版本中的贡献。

更多内容请见:

https://github.com/open-mmlab/mmdeploy/releases/tag/v0.4.0

MMCV

新功能

  • 添加 SegmindLoggerHook 日志钩子
  • Config 类支持浅拷贝
  • gather_points 算子支持 fp16 训练
  • 添加 non-deterministic voxelization 算子
  • 添加用于初始化 dataloader worker 随机数的函数

代码改进

  • Config 忽视配置中的导入语句
  • 更新 detection3d 算子的单元测试

Bug 修复

  • 修复 deconv_flops_counter 统计 flops 错误
  • 修复 deform_conv python 绑定错误
  • 修复 ProfilerHook 不能打印提醒信息
  • 更新 http://MANIFEST.in 以将 spconv 算子头文件加入 sdist 包
  • 修复 DynamicScatter、MultiScaleDeformableAttention 和 Voxelization 算子
  • 修复 ROCm 编译问题
  • 修复 torch1.11.0 重命名 _sync_params 出现的兼容问题

感谢 @SuTanTank, @VVsssssk, @zhanggefan, @saurbhc, @XiwuChen, @Xiangxu-0103, @imflash217 在此版本中的贡献。

更多内容请见:

https://github.com/open-mmlab/mmcv/releases/tag/v1.4.8 & https://github.com/open-mmlab/mmcv/releases/tag/v1.4.7

MMRotate

新功能

  • 支持多机训练
  • 增加了数据集浏览工具
  • 增加了 gather_models 脚本

代码改进

  • 移除了 rbbox_overlaps 中的 in-place 操作

Bug 修复

  • 修复了 docstring 文档格式错误
  • 修复了 HRSCDataset 的 bug

感谢 @canoe-Z, @matrixgame2018 在此版本中的贡献。

更多内容请见:

https://github.com/open-mmlab/mmrotate/blob/dev/docs/en/changelog.md

MMDetection3D

新功能

  • 支持 ScanNet 数据集上的实例分割任务
  • 支持不同进程采用不同随机种子
  • 支持从 Ceph 加载注释文件
  • 支持自动从最新记录节点恢复训练
  • 添加 windows CI

代码改进

  • 迁移所有算子到 mmcv
  • 在 KITTI 的数据转换中是否生成地面文件的选项
  • 更新文档中的说明和链接
  • 支持并行的 Waymo 数据集转换和真值数据库生成
  • 在入门文档中添加快速安装命令

Bug 修复

  • 更新 nuimages 配置文件以使用新的 nms 配置格式
  • 修正 numpy 的用法使之兼容 windows
  • 修复 BasePoints 中不正确的索引
  • 修复 pillar_scatter.forward_single 中不正确的索引
  • 修复使用 GPU 的单元测试
  • 修复由之前升级 PillarFeatureNet 导致的 DynamicPillarFeatureNet 中不正确的特征尺寸
  • 删除 PointSample 中的 CameraPoints 约束
  • 修复 Waymo 数据集的不精确时间戳保存

感谢 @zjwzcx, @Xiangxu-0103, @EdAyers, @hongye-dev, @zhanggefan 在此版本中的贡献。

更多内容请见:

https://github.com/open-mmlab/mmdetection3d/blob/master/docs/en/changelog.md

MMOCR

新功能

  • 支持对文本中空格的识别,用户仅需将识别标注文件转换为 JSON Line 格式并配置 LineJsonParser 即可;详尽的配置文档也一并进行了同步更新
  • MMOCR 现支持调用 Tesseract API 进行文本检测和识别
  • 新增 Windows CI,MMOCR 现已支持 Windows 和 MacOS

代码改进

  • 重构了识别中的 ResNet,引入 Plugin 机制来统一 ResNet 结构
  • 统一了标注文件的 loader,遗弃原先的 LmdbLoader 以及 HardDiskLoader,并采用设计更加合理的 AnnFileLoader 来代替,支持从 http,petrel,disk 进行标注读取
  • 新增16个 OCR 数据集的介绍文档以及下载流程文档,并更新了数据集内容的树形图
  • 新增 testing.md, getting_started.md, serving.md 3篇文档的中文翻译

Bug 修复

  • 修复了 MMDet 版本限制问题
  • 修复单元测试 num_worker 问题
  • 修复了文字识别字典中空格读取问题
  • 修复 SARLoss 中 ignore_index 的默认值
  • 修复 PSENet 中可能导致 inplace operation 错误的问题
  • 使用分隔符(-)代替参数中的下划线(_)

感谢 @GPhilo, @EighteenSprings, @BeyondYourself, @yangrisheng, @garvan2021 在此版本中的贡献。

更多内容请见:

https://github.com/open-mmlab/mmocr/releases/tag/v0.5.0

MMEditing

新功能

  • 支持 AOT-GAN (#677)
  • 使用 --diff-seed 在多卡训练中为 torch 设置不同的初始化种子 (#781)
  • 在视频插帧 demo 中支持流帧读取 (#790)
  • 支持非 slurm 的 dist_train (#791)
  • 在 restoration_video_demo 中将 LQ 存放在 CPU (#792)
  • 在 EDSR 中支持处理灰度数据 (#793)
  • 支持视频插帧算法 TOFlow (#806, #811)
  • 支持在 DistributedSampler 中为不同的 rank 设置不同的随机种子 (#815)

代码改进

  • 修复 README 文件中的失效链接 (#782, #786, #819, #820)
  • 修复抠图教程 (#795)
  • 翻转 RandomAffine 中的 flip_ratio (#799)
  • 修复 preprocess_div2k_dataset.py (#801)
  • 修复 SR Colab Demo Installation 方法和 Set5 链接 (#807)
  • 修正EDSR README 中的 Y/GRB 错误 (#812)
  • 将 README(_zh-CN).md 中的 pytorch 安装命令替换为 conda (#816)

Bug 修复

  • 更新 CI (#650)
  • 更新 requirements.txt (#725, #817)
  • 增加 dataset (#758), pipeline (#779), model (#766) 教程
  • 更新 index 和 TOC 结构树 (#767)
  • 更新 update_model_index.py 以兼容 Windows (#768)
  • 更新文档构建系统 (#769)
  • 更新 setuptools 的关键字和分类器 (#773)
  • 更新安装文档 (#776, #800)
  • 更新 BasicVSR++ 和 RealBasicVSR 文档 (#778)
  • 更新 citation (#785, #787)
  • 重组文档 (#788)
  • 在 metafile 中使用 config 的全名作为 'Name',以支持 mim 下载 (#798)
  • 更新 README 中的图片和视频示例 (#802)
  • 在视频插帧测试时使用 clamp(0, 1) (#805)
  • 在演示和工具中的命令行参数中使用连字符 (#808), 在python文件中为必选参数保留下划线 (#822)
  • 将 dataset.pipeline 作为文档的单列内容 (#813)
  • 更新 mmcv-full>=1.3.13 以在 CPU 中支持 DCN (#823)

感谢 @nijkah @wdmwhh @freepoet @quincylin1 在此版本中的贡献。

更多内容请见:

mmediting/changelog.md at master · open-mmlab/mmediting

MMSegmentation

新功能

  • 支持 BEiT 骨架网络 (#1404)
  • 支持数据集用 file_client 初始化 (#1402)
  • 添加 STARE 数据集类别名称函数 (#1376)
  • 支持分布式训练时,不同 rank 设置不同随机种子 (#1362)

代码改进

  • 为分布式 sampler 同步随机种子 (#1411)
  • 为多机分布式训练添加脚本和文档 (#1383)
  • 添加 FAQ 文档 (#1420)

Bug 修复

  • CELoss 添加 avg_non_ignore以计算只在非 ingore 区域损失 (#1409)
  • 修复错误模型链接 (#1336)
  • 修改文档中对 config 文件命名规约 (#1414)
  • tools/confusion_matrix.py中添加绘制的标题和颜色主题参数 (#1401)
  • 修复 Colab demo 中的链接 (#1392)
  • 修复 typo (#1424, #1405, #1371, #1366, #1363)

感谢 @kinglintianxia, @CCODING04, @mob5566, @xiongnemo, @Xiangxu-0103 在此版本中的贡献。

更多内容请见:

https://github.com/open-mmlab/mmsegmentation/releases/tag/v0.23.0

MMSelfSup

新功能

  • 支持 SimMIM (#239)
  • 增加 KNN 基准测试,支持中间 checkpoint 和提取的 backbone 权重进行评估 (#243)
  • 支持 ImageNet-21k 数据集 (#225)
  • 支持自动继续 checkpoint 文件的训练 (#245)

代码改进

  • 更新命令行参数模式 (#253)
  • 修复 6_benchmarks.md 中命令文档(#263)
  • 翻译 6_benchmarks.md 到中文 (#262)

Bug 修复

  • 在分布式 sampler 中增加种子 (#250)
  • 修复 dist_test_svm_epoch.sh 中参数位置问题 (#260)
  • 修复 prepare_voc07_cls.sh 中 mkdir 潜在错误 (#261)

社区贡献者

感谢 @mitming 在此版本中的贡献。

更多内容请见:

https://github.com/open-mmlab/mmselfsup/blob/master/docs/en/changelog.md

MMRazor

新功能

  • 支持使用 MMDeploy 部署
  • 新增分类蒸馏算法 Relational Knowledge Distillation (CVPR 2019)
  • 使用 --diff-seed 在多卡训练中为 torch 设置不同的初始化种子
  • StructurePruner 支持处理包含孔洞卷积的模型,比如 YOLOF
  • StructurePruner 支持处理共享模块(比如 RetinaNet 中的共享 head)

代码改进

  • 提供 multi-node 训练和测试的脚本
  • 更新训练接口,和 mmcls 和 mmdet 保持一致

Bug 修复

  • 修复 Pruner 不能正确处理 requires_grad=False 参数的问题

更多内容请见:

https://github.com/open-mmlab/mmrazor/releases/tag/v0.3.0

MMAction2

新功能

  • 支持设置不同的seeds
  • 提供 multi-node 训练和测试的脚本
  • 更新了 error log

代码改进

  • 改进了 colab tutorial 里的 install 命令
  • 改进了 local rank 的参数命名

Bug 修复

  • 修复了 analyze_logs.py 里 num_iters_per_epoch 的 bug
  • 修复了 kinetics/rename_classnames.sh 的 bug
  • 修复了 Distributed_sampler 的 bug

社区贡献者

感谢 @Stephenfang51, @rlleshi, @CCODING04 在此版本中的贡献。

更多内容请见:

https://github.com/open-mmlab/mmaction2/blob/master/docs/changelog.md

MMGeneration

新功能

  • 支持在 EMA 中使用动态的 momentum,你可以自定义更新策略。
  • 支持在 static unconditional gan 的训练过程中向生成器传入额外的参数。
  • 支持了多机多卡分布式训练。

代码改进

  • 在 README 中增加了简单的安装教程。

Bug 修复

  • 修复了脚本参数中下划线格式问题。

更多内容请见:

mmgeneration/changelog.md at master · open-mmlab/mmgeneration

MMHuman3D

新功能

  • 增加HumanDataCache来解决使用HumanData时内存溢出的问题(例如使用HMR训练时减少96%内存占用)
  • 重构可微渲染器并支持UV map渲染
  • HumanData支持slice/concat操作

代码改进

  • 升级SMPLify,支持更多损失函数、输出HumanData等等
  • 重构关键点映射并支持没有mask的转换

Bug 修复

  • 修复了一些数据预处理的关键问题(相关数据集有SURREAL和AGORA等)
  • 修复了渲染工具箱中顶点相关的问题
  • 修复了tensor2dict中shape和device的问题
  • 修复了HybrIK中的一些小问题
  • 修复了demo中内存溢出的问题
  • 修复了文档格式的问题
  • 修复了HumanData中重复的肢体的问题
  • 更新了依赖(如cdflib, ffmpeg)

更多内容请见:

https://github.com/open-mmlab/mmhuman3d/releases/tag/v0.6.0

MMFlow

新功能

  • 支持三个遮挡估计方法:forward-backward consistency;range map of the backward flow;flow forward-backward abstract difference (#106)
  • 支持分布式训练时,不同 rank 设置不同随机种子 (#104)

代码改进

  • 为分布式 sampler 同步随机种子 (#110)
  • 为多机分布式训练添加脚本和文档 (#107)

Bug 修复

  • 修复 collect_env 在 Windows 平台上的问题 (#112)

更多内容请见:

https://github.com/open-mmlab/m

你可能感兴趣的:(月刊,人工智能,深度学习)