CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval 论文解读

CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval

论文链接https://arxiv.org/abs/2104.08860.
代码链接https://github.com/ArrowLuo/CLIP4Clip.
网络结构如下：

其实论文的思路就是拿CLIP模型的image encoder和text encoder过来生成对应的编码，然后用一个计算相似度的模块让每一个视频文本对的相似度相近，不同的远离。文章创新点比较低，但是CLIP模型在超大数据量训出来的很强大，所以在图文上面性能很强。作者将它拿过来微调，然后在视频文本检索上面达到了SOTA。。。。。。。。。。

具体看了代码，有几个值得吐槽的地方：
1.在dataloader里面，他的做法是每计算一个视频，对视频抽一次帧。这样会造成训练特别特别慢。居然不提前把帧提好。。。。
2.每一个视频给的sample是1s提一帧，我怀疑这样真的能信息提取充分吗？
3.期待作者进一步公布预训练模型