视频特征提取demo

背景

因为做目前的video-caption都只是根据已经有的视频特征数据来进行描述的生成,所以我们需要对于一个原生的视频文件生成特征。调研的一个方法是使用C3D的feature-extract

步骤

步骤很简单,几个简单的命令就解决问题了,中间也没有出啥错误,但是也是要参考caffe的安装方法。

git clone https://github.com/facebook/C3D/tree/master/C3D-v1.1
mv Makefile.config.example Makefile.config
make all -j20

之后就可以用build下面的各种工具了。我用的是extract_features.bin其实都是参照的C3D中的README,最后用这条命令./build/tools/extract_features.bin models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel examples/_temp/imagenet_val.prototxt fc7 examples/_temp/features 10 leveldb跑出来了一个存放在levelDB里面的数据。简单的写了个python读取了一下里面的数据。里面是key-value数据,有500个key每个key对应的value是一个list长度为20487,但是目前并不知道这里面的数据我该怎么对接到前面的video-caption里面。后续会继续调研

后续工作 2018.06.01

后续调研之后发现实际上我们的工作都是多余的,主要是因为前期的调研不够。后面使用了Caffe Zoo里面的Sequence To Sequence 模型实现了视频转文字的实现。这个部分的工作我将逐步完成,并放到我的github石磊的github上。

你可能感兴趣的:(视频特征提取demo)