码隆科技WebVision2017冠军模型思想

WebVision2017是一个半监督的任务，本文全部提取自码隆科技做的一个讲座

ImageNet和WebVision数据集的对比：


WebVision数据集：

第一个思想是：Data, model architecture, loss, training strategy都同等重要。

数据不均衡的问题，多的有10000+张，少的只有几百张：

主要的挑战在于noise label

对此，相关的工作：

码隆采用的方法——curriculum learning

最近一年内，DeepMind和OpenAI在curriculum learning方面的研究，还有李飞飞！

curriculum learning标准流程：

下面是OpenAI的一篇文章，用曲线形式表示出了task随着学习进程之间的关系

比较核心的部分是课程的设计，curriculum design：

下面详细说一下课程设计和课程学习（指的在设计好的课程之间迭代优化）

上图用到了Science上的一篇聚类的文章《Clustering by fast search and find of density peaks》

下面两幅图是聚类的效果（横坐标越往右，数据簇越干净，反之越往左，越多noise label）

课程学习的训练流程

不同训练方式的实验对比

Data balance

上图中的class data balance只对subset 1做了，他们尝试对3个subsets都做，但是效果并不好。

loss曲线对比

noise data用的好的话，比不用对于模型的效果要更好！（关键在于如何利用noise data来提高模型的泛化能力！）

主要获得提升的类别：

主要获得衰减的类比：

最后的比赛结果（5%左右的error，在没有任何标注信息的情况下，达到了近似人的错误率）：

总结：