使用 PyTorch 框架复现 Two-Stream 网络过程中遇到的问题

复现论文:《Two-Stream Convolutional Networks for Action Recognition》

完整代码:https://github.com/BizhuWu/Two-Stream-Network-PyTorch

(这是小吴同学第一次在 Github 上整理代码,可以的话,麻烦大家在 Github 上给个小星星好不好嘛~【试图撒娇.jpg】)

 

 

导入数据部分:LoadUCF101Data.py

1、隔 10 张计算一次光流(2.5 fps)导致有些视频光流数目不够 20 张,导致不能丢入网络

  • 解决方案1:本想排除掉图片数小于 20 的视频,但统计了一下共有(2249 / 486166)个这样的视频,图片数小于 20 的视频的分布,发现不均匀,可能会导致某个类训练不充分,数据不够多。重新计算光流,让save_interval = 2,即fps = 12.5。

使用 PyTorch 框架复现 Two-Stream 网络过程中遇到的问题_第1张图片

图:统计每个类中图片数小于 20 的视频数目

  • 解决方案2:以最后生成大约24张左右的光流图为间隔?

 

 

 

2、训练过程中,在导入数据部分的代码出现错误,报错如下:

使用 PyTorch 框架复现 Two-Stream 网络过程中遇到的问题_第2张图片

参考:https://blog.csdn.net/zcgyq/article/details/83085028

报错原因:classInd.txt 里类别的下标是从 1 开始的,我就直接读入了,但丢入网络的时候类别下标默认是从 0-100。

解决方案:原来我是用字典保存的:键是类标,值是类名。但 classInd.txt 里的类别是按顺序的,所以我就直接按顺序读入存在列表中,列表的索引是从 0 开始的。

使用 PyTorch 框架复现 Two-Stream 网络过程中遇到的问题_第3张图片

 

 

 

3、数据集里不同图片是按不同的video存放的,没有区分训练集和测试集,只给出了trainlist01.txt和testlist01.txt两份文档,文档内容如下。所以需要自己整理出训练集和测试集。

使用 PyTorch 框架复现 Two-Stream 网络过程中遇到的问题_第4张图片

图:打印输出训练集 trainlist01.txt

 使用 PyTorch 框架复现 Two-Stream 网络过程中遇到的问题_第5张图片

图:打印输出测试集 testlist01.txt

解决方案:将训练集和测试集的视频名字读入各自的列表中。

使用 PyTorch 框架复现 Two-Stream 网络过程中遇到的问题_第6张图片

使用 PyTorch 框架复现 Two-Stream 网络过程中遇到的问题_第7张图片

图:打印输出 TrainVideoNameList 的结果

在新建继承 dataset 的 UCF101Data 类的对象时,判断一下是否是训练集。然后再与当前读入某个类下的视频文件夹名列表做一个交集,只读入训练集/测试集所包含的视频名字对应的视频文件夹里的图片。

 

 

 

 

4、python两个 list 获取交集,并集,差集的方法

print list(set(a).intersection(set(b)))

参考:https://www.cnblogs.com/jlf0103/p/8882896.html

 

 

 

5、如何stack多张光流图作为网络的输入?

解决方案:首先,将随机下标的后连续 4 张(2 张 x 方向的光流图 和 2 张 y 方向的光流图)的文件名存入 stacked_OpticalFlow_image_path 的列表中。

再在__getitem__() 函数中,新建一个空的张量(tensor)stacked_OpticalFlow_image,tensor 的第一个维度就是打算 stack optical images 的图片张数。再打开 stacked_OpticalFlow_image_path 列表中的每一张图片,经过 transform 变化后,取每一张图片的第一个 channel 存入 stacked_OpticalFlow_image 中的某个 channel 里。

使用 PyTorch 框架复现 Two-Stream 网络过程中遇到的问题_第8张图片

 

 

 

6、将两个 branch 的网络一起训练,就需要同时给出 RGB 和 optical flow 的图片作为输入。那如何将 RGB 和 optical flow 的图片同时喂入网络中呢?

解决方案:在 UCF101Data 类的 __init()__ 函数中,同时将 RGB 图片的路径和 stacked optical flow images 的路径列表 stacked_OpticalFlow_image_path 同时保存至 self.filenames 里

 

 

 

7、根据 glob 和 os.path 生成的所有图片路径是 Linux 格式的,在 Windows 下运行不了。

import glob
import os.path as osp

filenames = glob.glob(osp.join(root, str(i), '*.png'))

os.path 连接的路径

是这样的:

解决方案:直接用加号连接字符串,用 os.listdir 列出当前目录下的所有文件

 

 

 

8、os.list() 的输出结果并不是按顺序的!!!

用这个函数的输出结果并不是按照某种特定顺序来的!!!

解决方案

frame_list = os.listdir(single_OpticalFlow_video_path)
frame_list.sort(key=lambda x:int(x.split("_")[-2]))

参考:https://www.cnblogs.com/jins-note/p/9550388.html

 

 

 

9、optical flow 图randomly crop的时候需要每张图都crop 相同的位置吗?

待解决

 

 

 

10、新建 tensor 的几种方法

使用 PyTorch 框架复现 Two-Stream 网络过程中遇到的问题_第9张图片

使用 PyTorch 框架复现 Two-Stream 网络过程中遇到的问题_第10张图片

参考:https://blog.csdn.net/zjw18737392679/article/details/90723355

 

 

 

 

 

搭建网络模型部分:Two_Stream_Net.py

1、修改ResNet最后一层全连接的节点个数为类别数目:

 

 

 

2、光流图需要在输入的时候堆叠 4 张图片(2 张x方向的,2 张 y 方向的)。如何丢入原来输入通道仅为 3 的ResNet里?

参考:https://blog.csdn.net/qq_34419607/article/details/110325307

 

 

 

3、如何把两个 branch 连起来,一起更新 loss?

解决方案:原来是一个 RGBStreamNet,一个 OpticalFlowStreamNet。谢说可以 new 一个类 TwoStreamNet,实例化原来这两个类,包装起来。训练的时候只实例化 TwoStreamNet 这个类就好。

使用 PyTorch 框架复现 Two-Stream 网络过程中遇到的问题_第11张图片

 

 

 

 

 

训练以及测试网络部分:trainTwoStreamNet.py

没有问题(棒!)

 

 

 

 

 

放至服务器上训练的部分:trainTwoStreamNet.sh

1、设置指定在哪一块GPU上训练:

参考:http://www.cocoachina.com/articles/34553

你可能感兴趣的:(人工智能,PyTorch,学习,Two-Stream,PyTorch,深度学习)