百度BROAD-Video Highlights视频精彩片段数据集简要介绍与分析

前两天在微信上看到这条新闻 ，百度搞了一个数据集开源计划 Baidu Research Open-Access Dataset (BROAD)，其网址为 Baidu Research Open-Access Dataset。首期开放了3个数据集，其中有一个数据集 称为 Video Highlights 。我发现这个数据集与我研究的temporal action detection 以及temporal action proposal 任务基本符合，感觉是个蛮有趣的数据集，所以在这篇笔记里对这个数据集进行简要的介绍与分析。

任务描述

该数据集（下文中简称为BROAD-VH数据集）在介绍中将其定义为视频精彩片段提取任务。具体而言，就是提取视频中可能包含精彩片段的时间区域，而不需要对精彩片段的类别进行分类。该任务实际上与我之前介绍过的temporal action proposal 任务（相关介绍和算法可以参考Temporal Action Detection (时序动作检测)方向2017年会议论文整理）是完全相同的。

视频及数据信息

BROAD-VH数据集主要来源于爱奇艺视频。视频类型为综艺节目，目前包括1500个长视频，视频总时长约1200小时。该数据集的视频时长分布图如下图所示（长度单位为帧）。按照总帧数和总时长的比例，估计采样的fps大概为1.5吧，算是比较低的采样频率了。

训练/验证/测试集的视频数量划分为1262/120/117。

该数据集通过爱奇艺网页link的方式提供了原始视频（即需要爬虫下载或手动下载），此外还提供了提取好的image feature和audio feature。这两种特征均在视频的每一帧上提取，维度均为2048。比如对于一个长度为1000帧的视频，image和audio特征矩阵的大小均为1000*2048。

标签信息及分布

该数据集中一共有18000个精彩片段的时序标注，平均一个视频有12个时序标注。这些精彩片段的总时长占1500个小时中的750个小时，即有一半左右的视频时长被标注为了精彩片段。

我对训练集的标签信息进行了分析，分析的主要内容为精彩片段时长的分布，分布直方图如下图所示。

可以看出，大部分精彩片段的长度都在30-300帧的范围。

测评方式

测评方式部分与通常temporal action proposal任务中不同，并没有使用average recall (平均召回率），而是同detection任务一样使用了mAP，此处将所有highlights片段都看作为了一个动作类别。比较有趣的是，BROAD-VH基本上直接使用了ActivityNet Challenge的detection任务测评代码（略有改动）。

简要分析

根据上面的介绍以及分析内容，可以对这个数据集进行一些简单的评价：

• 单个视频的时长可能很长（小时级别），单个视频中包含的精彩片段也比较多，这点与THUMOS数据集很像，而与单个视频时长短且包含片段少的ActivityNet数据集差异大
• 数据集标注的格式，测评代码等方面应该是直接参考的ActivityNet 数据集做的
• 数据的规模还是比较大的，从时长方面看比ActivityNet要长（ActivityNet时长大约为700小时）
• 视频的来源均为综艺视频，这点表明这个数据集的来源多样性比较单一
• 提供特征，其目的应该是节省研究者的计算开销。估计1500小时的视频，提取一遍特需要很长的时间。。根本没法玩。所以有现成的特征挺不错的。

简单的尝试

下完数据集我就先跑了一个最简单的baseline方法，即activitynet challenge 2017 proposal task中的baseline：uniform random 方法。代码主要参考了activitynet官方提供的代码：activitynet/proposals

简单而言，就是在视频随机的位置产生随机长度的proposals，并给予随机的confidence score。在验证集中，对于每个视频我生成了200个proposals，得到的mAP大概在0.027 左右。

小结

总的来说，BROAD-VH算是一个比较有趣的数据集吧，专注于综艺视频中精彩片段提取这一问题。不过由于该数据集目前还没有放出相关的论文，所以还没啥人做，也就没法在这个数据集上比较算法效果。由于提供了提取好的特征，所以在该数据集上跑起实验来也还算比较方便。感兴趣的读者也可以跑实验玩玩看。