赛事背景
近年来,伴随着卡通产业的迅猛发展,卡通视频呈现出爆炸性增长。而实现对这些卡通视频智能理解的第一步就是需要识别出这些视频里面的卡通人物身份信息。同时伴随着人脸识别技术的发展,人物识别精度大幅提升,在Labeled Faces in the Wild(LFW)等图片数据集上,人脸识别精度甚至超过了人类的识别能力。然而目前,对卡通人物身份的识别却鲜有研究,相关的数据集也比较少。
对于深度学习来说,这些已有的卡通识别数据集存在着数据量较小、噪声比例较大的问题。因此构建一个大规模、高质量的卡通识别数据集对于解决问题卡通人物身份的识别至关重要。
爱奇艺联合IJCAI PRICAI 2020 举办iCartoonFace挑战赛正式启动,此次挑战中将对参赛者公布目前最大的手动标注卡通人脸检测数据集和最大的手动标注卡通人脸识别数据集。也是目前第一个大规模、高质量的卡通识别数据集和检测数据集。希望通过iCartoonFace挑战赛解决卡通人物身份的识别问题,同时提升学术界及工业界在人物识别、人物检测能力的精确度。
赛事任务
iCartoonFace卡通检测挑战赛的赛事任务为:对于给定的图片,算法需要给出图片中所有卡通人物的人脸检测框信息。
iCartoonFace卡通识别挑战赛的赛事任务为:对于Probe集中的给定图片,算法需要根据卡通人物身份相似度对Gallery集中所有图片进行排序。依据排序的结果,来评估算法的性能。
数据集
iCartoonFace检测数据集是一个包含多种风格的、大规模的卡通脸检测数据集。
iCartoonFace检测数据集的统计特性如下:
· 大规模:iCartoonFace检测数据集中,训练集包含50,000张图片,共91,163个卡通脸,测试集中包含10,000张图片,共18,647个卡通脸,是目前已知的关于卡通脸检测的最大的手工标注数据集。
· 高质量:数据集在人工标注的同时,经过多次质检,保证了错误率在5%以内。其中训练集中超过60%的卡通脸分辨率大于50x50,详见图1。
图1 iCartoonFace检测卡通脸分辨率的统计特性
iCartoonFace识别数据集是一个大规模、高质量的卡通人物身份识别数据集。iCartoonFace识别数据集的统计特性如下:
· 大规模:iCartoonFace识别数据集包含5013个卡通人物、389,678张图片,来源于1,302卡通专辑,是已知目前最大的手工标注卡通人物身份识别数据集。
· 高质量:数据集手工标注完成之后,我们采用交叉验证的方式保证数据集标注错误率在5%以内。所有图片的分辨率高于100x100,超过65%的图片分辨率高于200x200。
· 多样性和挑战性:从图3可以看到,不同的卡通人物具有非常相近的外形特征,同一个的卡通人物由于的表情、遮挡、角度等影响导致外形具有非常大的差异性。
图2 iCartoonFace识别数据集的统计特性
图3 (a) 不同的人物具有很大的外形相似性; (b)相同的人物具有很大的外形差异性
评测指标
在我们的任务A中,使用mAP度量来评估算法的性能。平均平均精度(mAP)定义为所有K类AP的平均值,如下式所示:
在上述表达式中,AP被定义为插值精度召回曲线下的面积,在任务A中K的值为1。
给定一张Probe集中的照片和至少包含一张相同卡通人物身份图片的Gallery集,算法需要根据与给定图片中卡通人物身份相似度对Gallery集中所有图片进行排序。具体来说,Probe集中包含N个卡通人物、每个卡通人物有M张照片。对于每个卡通人物的M张照片,每次选取一张图片作为probe照片,然后把剩余的M-1张,在单独每一张和distractors一起组成Gallery集,然后进行比对,然后计算rank1精度。经过N*M*(M-1)次比对后,得到的平均rank1精度作为本次任务的评价指标。
对于任务A,总的模型大小不应超过200M,单张卡通图片(1920x1080)的运行时间不应超过50ms(举办方提供的运行环境下,V100或者P40机器);对于任务B,总的模型大小不应超过200M,单个卡通脸的运行时间不应超过10ms(举办方提供的运行环境下, V100或者P40机器)。对于这两个任务,将要求排行榜前5名的团队提交详细的描述他们的方法,以及源代码或可执行软件。竞赛委员会将仔细检查参赛作品,排除无效作品。
参赛规则
本次比赛是以团队的形式参赛,每个团队可以有一个或者多个成员,而每个人不能是多个团队的成员。
比赛结束后,综合客观评价标准和专家评审团得分对各个参赛队进行排名,前三名将获得本次比赛颁发的奖状和奖金,对于任务A和任务B,第一名、第二名、第三名的奖金分别为4000美元、2000美元和1000美元。
论文提交
请根据IJCAI-PRICAI 2020的论文要求,进行文章的提交。
2020 IJCAI 通道:https://www.ijcai20.org
赛事日程
· 2019年12月20日:开放网址和报名
· 2019年12月20日:提供数据集下载
· 2020年4月21日:开始提交结果
· 2020年5月14日:在线报名关闭
· 2020年5月29日:结束结果提交
· 2020年6月8日:参赛结果评测
· 2020年6月12日:宣布比赛结果、准备提交论文
· 2020年6月20日:结束论文提交
(因COVID-19疫情因素,赛事日程时间后续可能会有所调整)
点击“阅读原文”,前往大赛报名通道!
也许你还想看
扫一扫下方二维码,更多精彩内容陪伴你!