干货 | 通过传统特征重和滑动窗口匹配法，获得更为精准的拷贝边界

方案简介

在爱奇艺与CCF联合举办的“2019CCF大数据与计算智能大赛-视频版权检测”赛道比赛中，来自爱奇艺的都挺好团队采用了卷积神经网络SE-ResNeXt获得特征向量，对特征向量进行搜索获得top-k个相似图像帧。使用关键路径法进行时间对齐后，通过传统特征重匹配法和滑动窗口匹配法，获得更为精准的拷贝边界，复赛B榜F1值达到了0.9678（都挺好团队复赛成绩排名第一，但因是组织单位，故未记入名次）。

赛题任务解读

由于在此次比赛之前没有版权检测相关的经验，都挺好团队首先启动的工作是对此次比赛的题目进行调研，对比赛任务进行具体分析：

第一阶段，主要工作为系统的搭建，各种模块的尝试和组合。

第二阶段，为研究如何提升特征的表达性能。

第三阶段，为针对更加精细的时间边界对时间对齐和特征提取部分进行优化。

 

方案分享

基于针对比赛任务的具体分析，以下分享都挺好团队在竞赛方案各阶段所进行的具体工作：

（1）第一阶段

在第一阶段，都挺好团队首先尝试了各种卷积神经网络结构用于提取特征，如VGG、DenseNet、SE-resnet、SE-resnext等，也尝试了sift特征、hash方法等，最终选择了特征表达性能最好的SE-resnext。都挺好团队在索引方面选择了Facebook开源的Faiss工具，在时间对齐部分则选择了基于网络流的方法，团队将上述模块融合得到了初步的系统框架，并测试了验证集。

（2）第二阶段

基于前期测试，都挺好团队对第一阶段的测试结果进行了分析，找出了其中一些较难查询的refer视频和其对应的query视频。都挺好团队针对这些视频对设计了级联检测器，采用了类似于孪生网络（siamese network）的卷积层结构对这些视频中的帧对儿进行了训练，获得了表达性能更好的特征。在测试集A、B上进行检测时，都挺好团队首先通过路径长度筛选出这些大概率错误的query查询结果，之后通过使用训练好的级联检测器进一步检测，提升了F1值。

 

 

（3）第三阶段

都挺好团队在第三阶段采取了三个策略：首先，为了能够更进一步的提升特征的表达性能，对不同卷积网络的特征进行了融合，提升了检测的准确性。其次，针对复赛中3s这个更加严格的时间边界限制，都挺好团队采用了SIFT特征对之前获得查询结果进行边界精修。最后，都挺好团队发现在训练集的检测结果中存在匹配段缺失的情况。针对这一情况，都挺好团队设计了基于滑动窗口的时间边界重定位方法，更进一步提升了检测的准确性。

 

收获与感悟

此次比赛对于都挺好团队而言是一次难忘的经历，不仅仅是因为这是团队第一次参加类似比赛，更是来源于在这次比赛中团队成员不懈努力和紧密合作，让都挺好团队理解了竞赛中自我驱动力和互相鼓励的重要性，同时也在工程和算法能力上有了很大的提升。

在整个竞赛过程中，都挺好团队对复赛B榜的最后几个小时的时间记忆犹新。在这期间，他们发现针对某一个24帧的refer视频在做从帧数到秒数的转换时，团队内两个人分别做了一遍处理，导致之前本查询正确的大概10个左右的TP结果变成了FP。这个BUG的发现使得都挺好团队的最终结果回归了正确并在B榜上F1值瞬间提升，也让都挺好团队意识到检查代码和充分的沟通交流的重要性。

 

团队介绍及参赛感言

都挺好团队由2名成员组成，团队成员介绍如下：

卜琪：队长，爱奇艺。

王红宇：队员，北京航空航天大学。

都挺好团队在此次比赛中遇到的主要挑战是榜单不断刷新时的压力和算法不能够大幅度提升结果时需要克服的焦虑心情，而缓解竞赛压力的有效方法即是团队成员间不断地互相鼓励、随时随地的头脑风暴、持续不断的代码实现。在比赛中胜出最需要的就是坚持不懈。我们会继续参加后续相关赛事，我们期待能够使用线上数据集，来通过比赛真正的解决实际中的问题。

 

也许你还想了解2020爱奇艺卡通人物检测识别挑战赛，点击“阅读原文”，前往大赛通道！

扫一扫下方二维码，更多精彩内容陪伴你！