动作识别:基于飞桨复现MVF

1.简介

在这篇论文中,作者提出了从多视点对HxWxT的视频信号进行建模,引入了一个高效的时空模块,称为多视点融合模块MVF。MVF是一个即插即用的模块,可以将现有的
2D CNN模型转换为一个功能强大的时空特征提取器,并且开销很小。

动作识别:基于飞桨复现MVF_第1张图片

在上图中,在一个标准的ResNet的block中集成了MVF模块。在MVF模块中,输入的特征图被分为两个部分,一部分用于用于原始的激活函数计算。另一部分,用于多视图时空建模
,在MVF模块中,多视图建模分别通过时间、水平和垂直维度的卷积来执行。然后将这个三个卷积的输出的特征图按元素相加,最后两部分的特征图连接在一起来融合原始的激活函数输出和
多视图模块的激活函数输出。

AI Studio项目地址: https://aistudio.baidu.com/aistudio/projectdetail/3173936?contributionType=1

可fork后一键运行。

github地址: https://github.com/txyugood/PaddleMVF

2.复现精度

在UCF-101数据的测试效果如下表。

Network opt image_size batch_size dataset split top-1 mean class accuracy
MVF SGD 224x224 16 UCF-101 1 96.83% 96.75%
MVF SGD 224x224 16 UCF-101 2 96.65% 96.68%
MVF SGD 224x224 16 UCF-101 3 96.48% 96.49%
Network top-1(over 3 splits) mean class accuracy(over 3 splits)
MVF 96.65% 96.64%

最终在UCF101三种标注的数据集上的mean class_accuracy为96.64%, top-1为96.65%,与论文中的指标96.6%持平。
同时本次还对复现模型进行了对齐验证,对齐说明在精度对齐说明文档,验证结果证明模型复现正确。

MVF模块代码解析

网络选择ResNet50作为Backbone,使用TSNHead作为网络的Head,这看起来与普通的TSN网络并无区别,但上面提到MVF是一个即插即用的模块,可以将现有的2D CNN进行改造。下面就主要看一下MVF相关的代码。

使用以下代码创建一个网络,指定backbone、class head以及module config。其中module config里面指定了类型为MVF,同时指定了必要的参数。

 model = Recognizer2D(backbone=backbone, cls_head=head,
                         module_cfg=dict(type='MVF', n_segment=16, alpha=0.125, mvf_freq=(0, 0, 1, 1), mode='THW'))

在Recognizer2D中,使用_prepare_base_model方法来对Resnet网络实现改造。以下代码片段显示了,使用make_nulti_view_fusion方法,对backbone进行改造。

if backbone_name == 'ResNet':
    # Add module for 2D backbone
    if module_name == 'MVF':
        print('Adding MVF module...')
        from models.recognizers.MVF import make_multi_view_fusion
        make_multi_view_fusion(self.backbone, **module_cfg)

以下是make_multi_view_fusion的完整代码,代码解析见注释。

def make_multi_view_fusion(
        net, n_segment, alpha, mvf_freq=(1, 1, 1, 1),
        use_hs=True, share=False, mode='THW'):
    """Insert MVF module to ResNet"""
    # 本例中,n_segment_list为[16, 16, 16, 16]
    n_segment_list = [n_segment] * 4
    assert n_segment_list[-1] > 0
    print('=> n_segment per stage: {}'.format(n_segment_list))

    n_round = 1
    
    # 构造MVF block的函数
    def make_block_MVF(stage, this_segment):
        """build MVF Block"""
        blocks = list(stage.children())
        print('=> Processing stage with {} {} blocks residual'.format(len(blocks), mode))
        # 遍历当前stage的每一个层,
        for i, b in enumerate(blocks):
            if i % n_round == 0:
                # 以下操作为在b.conv1前插入一个MVF模块,如简介中的图所示。
                blocks[i].conv1 = MVF(
                    b.conv1, this_segment, blocks[i].conv1._in_channels, alpha, use_hs, share, mode)
        # 最后重新组成一个网络层队列。            
        return nn.Sequential(*blocks)

    # 分别对4个层进行MVF模块插入改造。
    net.layer1 = make_block_MVF(
        net.layer1, n_segment_list[0]) if mvf_freq[0] else net.layer1
    net.layer2 = make_block_MVF(
        net.layer2, n_segment_list[1]) if mvf_freq[1] else net.layer2
    net.layer3 = make_block_MVF(
        net.layer3, n_segment_list[2]) if mvf_freq[2] else net.layer3
    net.layer4 = make_block_MVF(
        net.layer4, n_segment_list[3]) if mvf_freq[3] else net.layer4

下面看一下MVF模块的相关代码。


class MVF(nn.Layer):
    """MVF Module"""
    def __init__(self, net, n_segment, in_channels, alpha=0.5, use_hs=True, share=False, mode='THW'):
        super(MVF, self).__init__()
        self.net = net
        self.n_segment = n_segment
        num_shift_channel = int(in_channels * alpha)
        self.num_shift_channel = num_shift_channel
        self.share = share
        if self.num_shift_channel != 0:
            self.split_sizes = [num_shift_channel, in_channels - num_shift_channel]
            # 定义Channel-wise Conv 卷积层,对应图中卷积
            self.shift_conv = nn.Conv3D(
                num_shift_channel, num_shift_channel, [3, 1, 1], stride=1,
                padding=[1, 0, 0], groups=num_shift_channel, bias_attr=False)

            self.bn = nn.BatchNorm3D(num_shift_channel)
            self.use_hs = use_hs
            self.activation = HardSwish() if use_hs else nn.ReLU()
            self.mode = mode

            if not self.share:
                if self.mode == 'THW':
                   # 定义Channel-wise Conv 卷积层,对应图中卷积
                    self.h_conv = nn.Conv3D(
                        num_shift_channel, num_shift_channel, [1, 3, 1], stride=1,
                        padding=[0, 1, 0], groups=num_shift_channel, bias_attr=False)
                    self.w_conv = nn.Conv3D(
                        num_shift_channel, num_shift_channel, [1, 1, 3], stride=1,
                        padding=[0, 0, 1], groups=num_shift_channel, bias_attr=False)
                elif self.mode == 'T':
                    pass
                elif self.mode == 'TH':
                    self.h_conv = nn.Conv3D(
                        num_shift_channel, num_shift_channel, [1, 3, 1], stride=1,
                        padding=[0, 1, 0], groups=num_shift_channel, bias_attr=False)
            self._initialize_weights()
        print('=> Using Multi-view Fusion...')

    def _initialize_weights(self):
        pass

    def forward(self, x):
        """forward"""
        nt, c, h, w = x.shape
        n_batch = nt // self.n_segment
        if self.num_shift_channel != 0:
            # x = x.view(n_batch, self.n_segment, c, h, w).transpose(1, 2)  # n, c, t, h, w
            x = x.reshape([n_batch, self.n_segment, c, h, w])
            x = x.transpose([0, 2, 1, 3, 4])
            # 对输出参数x在通道维度上进行分割。
            x = list(x.split(self.split_sizes, axis=1))

            if self.mode == 'THW':
                # 对分割出来的新的x做三种不同的卷积,如图中所示。
                # get H & W
                if self.share:
                    tmp_h = self.shift_conv(x[0].transpose(2, 3)).transpose(2, 3)
                    tmp_w = self.shift_conv(x[0].permute(0, 1, 4, 2, 3)).permute(0, 1, 3, 4, 2)
                else:
                    tmp_h = self.h_conv(x[0])
                    tmp_w = self.w_conv(x[0])
                # 最后将卷积后的特征图相加
                x[0] = self.shift_conv(x[0]) + tmp_h + tmp_w
            elif self.mode == 'T':
                x[0] = self.shift_conv(x[0])
            elif self.mode == 'TH':
                # get H & W
                if self.share:
                    tmp_h = self.shift_conv(x[0].transpose(2, 3)).transpose(2, 3)
                else:
                    tmp_h = self.h_conv(x[0])
                x[0] = self.shift_conv(x[0]) + tmp_h

            if self.use_hs:
                # add bn and activation
                x[0] = self.bn(x[0])
                x[0] = self.activation(x[0])
            # 与剩余的x拼接。
            x = paddle.concat(x, axis=1)  # n, c, t, h, w

            # x = x.transpose(1, 2).contiguous().view(nt, c, h, w)
            x = x.transpose([0, 2, 1, 3, 4])
            x = x.reshape([nt, c, h, w])
        # MVF模块的计算完成,输入原有的卷积层进行后面的计算。
        return self.net(x)


3.数据集

UCF-101:

第一部分:https://aistudio.baidu.com/aistudio/datasetdetail/118203

第二部分:https://aistudio.baidu.com/aistudio/datasetdetail/118316

预训练模型:

链接: https://pan.baidu.com/s/10dZTZwKEJ83smSJZ7mtp-w

提取码: rjc8

数据集以挂载到项目中,首先先解压数据集,由于AIStudio空间有限,解压数据集之后,删除数据集压缩包。

%cd /home/aistudio/data
# 数据太多显示解压过程会导致页面卡顿,所以去掉tar的f参数。
!cat data118203/ucf101.tar.bz2.* data118316/ucf101.tar.bz2.* | tar zx 
!rm -rf data118*
/home/aistudio/data

4.环境依赖

PaddlePaddle == 2.2.0

5.快速开始

模型训练

分别使用三种不同的训练集标注进行训练:

%cd /home/aistudio/PaddleMVF/
!python -u train.py --dataset_root /home/aistudio/data/ucf101/ --pretrained /home/aistudio/paddle_mvf.pdparams  --batch_size 16 --max_epochs 50 --split 1
!python -u train.py --dataset_root /home/aistudio/data/ucf101/ --pretrained /home/aistudio/paddle_mvf.pdparams  --batch_size 16 --max_epochs 50 --split 2
!python -u train.py --dataset_root /home/aistudio/data/ucf101/ --pretrained /home/aistudio/paddle_mvf.pdparams  --batch_size 16 --max_epochs 50 --split 3

dataset_root: 训练集路径

pretrained: 预训练模型路径

batch_size: 训练数据的批次容量

split: 指定的训练集标注文件,共有3个,可取值1,2,3.

模型评估

使用最优模型进行评估.

最优模型下载地址:

链接: https://pan.baidu.com/s/1pPXwdtdnbwm2orZ5YhaXCQ

提取码: sp4j

!python test.py --dataset_root /home/aistudio/data/ucf101/ --pretrained ../best_model_e50_s1.pdparams --split 1
!python test.py --dataset_root /home/aistudio/data/ucf101/ --pretrained ../best_model_e50_s2.pdparams --split 2
!python test.py --dataset_root /home/aistudio/data/ucf101/ --pretrained ../best_model_e50_s3.pdparams --split 3

dataset_root: 训练集路径

pretrained: 预训练模型路径

split: 指定的训练集标注文件,共有3个,可取值1,2,3.

模型推理

使用predict.py 脚本可进行单个视频文件的推理预测,可直接使用rawframes格式的数据做测试。
输入视频如下:

动作识别:基于飞桨复现MVF_第2张图片

执行以下脚本.

!python predict.py --video ../data/ucf101/rawframes/BaseballPitch/v_BaseballPitch_g07_c01 --pretrained ../best_model_e50_s1.pdparams 
/home/aistudio/PaddleMVF/datasets/pipelines/transforms.py:477: DeprecationWarning: `np.int` is a deprecated alias for the builtin `int`. To silence this warning, use `int` by itself. Doing this will not modify any behavior and is safe. When replacing `np.int`, you may wish to use e.g. `np.int64` or `np.int32` to specify the precision. If you wish to review your current use, check the release note link for additional information.
Deprecated in NumPy 1.20; for more details and guidance: https://numpy.org/devdocs/release/1.20.0-notes.html#deprecations
  clip_offsets = (base_offsets + avg_interval / 2.0).astype(np.int)
/home/aistudio/PaddleMVF/datasets/pipelines/transforms.py:533: DeprecationWarning: `np.int` is a deprecated alias for the builtin `int`. To silence this warning, use `int` by itself. Doing this will not modify any behavior and is safe. When replacing `np.int`, you may wish to use e.g. `np.int64` or `np.int32` to specify the precision. If you wish to review your current use, check the release note link for additional information.
Deprecated in NumPy 1.20; for more details and guidance: https://numpy.org/devdocs/release/1.20.0-notes.html#deprecations
  results['frame_inds'] = frame_inds.astype(np.int)
W0104 23:03:08.078281  5679 device_context.cc:447] Please NOTE: device: 0, GPU Compute Capability: 7.0, Driver API Version: 10.1, Runtime API Version: 10.1
W0104 23:03:08.083210  5679 device_context.cc:465] device: 0, cuDNN Version: 7.6.
Adding MVF module...
=> n_segment per stage: [16, 16, 16, 16]
=> Processing stage with 6 THW blocks residual
=> Using Multi-view Fusion...
=> Using Multi-view Fusion...
=> Using Multi-view Fusion...
=> Using Multi-view Fusion...
=> Using Multi-view Fusion...
=> Using Multi-view Fusion...
=> Processing stage with 3 THW blocks residual
=> Using Multi-view Fusion...
=> Using Multi-view Fusion...
=> Using Multi-view Fusion...
Loading pretrained model from ../best_model_e50_s1.pdparams
There are 330/330 variables loaded into Recognizer2D.
Top1 class:BaseballPitch prob:0.973984

TIPC基础链条测试

该部分依赖auto_log,需要进行安装,安装方式如下:

auto_log的详细介绍参考https://github.com/LDOUBLEV/AutoLog。

!git clone https://github.com/LDOUBLEV/AutoLog
%cd /home/aistudio/AutoLog/
!pip install -r requirements.txt
!python setup.py bdist_wheel
!pip install ./dist/auto_log-1.0.0-py3-none-any.whl
%cd /home/aistudio/PaddleMVF/
!bash test_tipc/prepare.sh test_tipc/configs/mvf/train_infer_python.txt 'lite_train_lite_infer'
!bash test_tipc/test_train_inference_python.sh test_tipc/configs/mvf/train_infer_python.txt 'lite_train_lite_infer'

测试结果如截图所示:

动作识别:基于飞桨复现MVF_第3张图片

6.代码结构与详细说明

├── README.md
├── logs # 训练以及评测日志
├── alignment
│  ├── README.md # 精度对齐说明文档
│  ├── step1 # 模型结构对齐检测脚本
│   ├── step2 # 评测指标对齐检测脚本
│   ├── step3 # 损失函数对齐检测脚本
│   ├── step4 # 反向对齐检测脚本
│   └── torch # torch模型核心代码
├── datasets # 数据集包
│   ├── __init__.py
│   ├── base.py #数据集基类
│   ├── file_client.py # 文件处理类
│   ├── pipelines
│   │   └── transforms.py # 数据增强类
│   ├── rawframe_dataset.py # 数据集类
│   └── utils.py #数据集工具类
├── models
│   ├── __init__.py
│   ├── base.py # 模型基类
│   ├── resnet.py # 标注resnet模型
│   ├── heads # 模型头部实现
│   └── recognizers # 识别模型框架
├── progress_bar.py #进度条工具
├── test.py # 评估程序
├── test_tipc # TIPC脚本
│   ├── README.md
│   ├── common_func.sh # 通用脚本程序
│   ├── configs
│   │   └── mvf
│   │       └── train_infer_python.txt # 单机单卡配置
│   ├── data
│   │   ├── example.npy # 推理用样例数据
│   │   └── mini_ucf.zip # 训练用小规模数据集
│   ├── output
│   ├── prepare.sh # 数据准备脚本
│   └── test_train_inference_python.sh # 训练推理测试脚本
├── timer.py # 时间工具类
├── train.py # 训练脚本
├── predict.py # 预测脚本
└── utils.py # 训练工具包

7.模型信息

信息 描述
模型名称 MVF
框架版本 PaddlePaddle==2.2.0
应用场景 动作识别

8.心得体会

在复现MVF这篇论文的过程中,第一次了解到这种动态插拔修改模型的方式,为设计模型结构提供了一种新的思路。在复现过程中也遇到了精度达到论文中的指标的问题,为验证模型是否正确,完成了模型精度对齐的工作,最后证明模型复现正确,分析是由随机变量导致的精度波动,通过修改超参数,并多次训练,最终模型在UCF101数据集三种标注下均可以实现论文中的精度。

复现中遇到的问题

  1. 在TIPC认证中需要导出模型,使用paddle.jit.to_static接口的时候需要指定input数据的size, 本项目指定的是[-1, 16, 3, 224, 244],这代表输入的数据的batch size是不固定的。这时导出模型就会出现以下错误:
AssertionError: Only one dimension value of 'shape' in reshape can be -1. But received shape[1] is also -1.

查看代码发现在tsn_clshead.py中代码出现问题。

x = x.reshape([x.shape[0], -1])

这是因为在真正训练过程中x.shape[0]是确定的就是batch size,但是在导出模型的时候x.shape[0]为-1,这是reshape接收的是[-1, -1],这样必然会报错,随后需要修改代码。这行代码的目的是想将输出的特征图转换为一维向量(不包含batch维度),由于原数据形状有5个维度,所以改为:

x = x.reshape([x.shape[0], x.shape[1] * x.shape[2] * x.shape[3] * x.shape[4]])

这样就可以顺利的导出模型。

  1. 在tsn_clshead.py中,使用fcn_test模式,需要将Linear的参数复制到Conv3D的参数中,可使用paddle.nn.initializer.Assign接口接收Linear的参数创建一个initializer。然后就可以使用正常初始化参数方法来初始化Conv3D的参数,完成参数复制。相关代码如下:
# Linear层
self.new_fc = nn.Linear(self.in_channels, self.num_classes)

# Conv3D层
self.new_cls = nn.Conv3D(
                    self.in_channels,
                    self.num_classes,
                    1, 1, 0)
                    
# 初始化Conv3D参数                    
weight = self.new_fc.weight.unsqueeze(-1).unsqueeze(-1).unsqueeze(-1)
weight = paddle.transpose(weight, [1, 0, 2, 3, 4])
initializer = paddle.nn.initializer.Assign(weight)
initializer(self.new_cls.weight)
initializer = paddle.nn.initializer.Assign(self.new_fc.bias)
initializer(self.new_cls.bias)

以上就是在复现过程中遇到的主要问题,如果同学们在复现过程遇到类似问题,也可以参考此方案解决问题。

你可能感兴趣的:(深度学习,paddlepaddle,python,深度学习)