腾讯AI Lab宣布将于9月底开源“Tencent ML-Images”项目

今日，腾讯AI Lab宣布将于9月底开源“Tencent ML-Images”项目，该项目由多标签图像数据集ML-Images，以及业内目前同类深度学习模型中精度最高的深度残差网络ResNet-101构成。

 

该项目的开源，是腾讯AI Lab在计算机视觉领域所累积的基础能力的一次释放，为人工智能领域的科研人员和工程师提供充足的高质量训练数据，及简单易用、性能强大的深度学习模型，促进人工智能行业共同发展。

腾讯AI Lab此次公布的图像数据集ML-Images，包含了1800万图像和1.1万多种常见物体类别，在业内已公开的多标签图像数据集中规模最大，足以满足一般科研机构及中小企业的使用场景。此外，腾讯AI Lab还将提供基于ML-Images训练得到的深度残差网络ResNet-101。该模型具有优异的视觉表示能力和泛化性能，在当前业内同类模型中精度最高，将为包括图像、视频等在内的视觉任务提供强大支撑，并助力图像分类、物体检测、物体跟踪、语义分割等技术水平的提升。

以深度神经网络为典型代表的深度学习技术已经在很多领域充分展现出其优异的能力，尤其是计算机视觉领域，包括图像和视频的分类、理解和生成等重要任务。然而，要充分发挥出深度学习的视觉表示能力，必须建立在充足的高质量训练数据、优秀的模型结构和模型训练方法，以及强大的的计算资源等基础能力之上。

各大科技公司都非常重视人工智能基础能力的建设，都建立了仅面向其内部的大型图像数据集，例如谷歌的JFT-300M和Facebook的Instagram数据集。但这些数据集及其训练得到的模型都没有公开，对于一般的科研机构和中小企业来说，这些人工智能基础能力有着非常高的门槛。

当前业内公开的最大规模的多标签图像数据集是谷歌公司的Open Images, 包含900万训练图像和6000多物体类别。腾讯AI Lab此次开源的ML-Images数据集包括1800万训练图像和1.1万多常见物体类别，或将成为新的行业基准数据集。除了数据集，腾讯AI Lab团队还将在此次开源项目中详细介绍：

(1) 大规模的多标签图像数据集的构建方法，包括图像的来源、图像候选类别集合、类别语义关系和图像的标注。在ML-Images的构建过程中，团队充分利用了类别语义关系来帮助对图像的精准标注。

(2) 基于ML-Images的深度神经网络的训练方法。团队精心设计的损失函数和训练方法，可以有效抑制大规模多标签数据集中类别不均衡对模型训练的负面影响。

(3) 基于ML-Images训练得到的ResNet-101模型，具有优异的视觉表示能力和泛化性能。通过迁移学习，该模型在ImageNet验证集上取得了80.73%的top-1分类精度，超过谷歌同类模型（迁移学习模式）的精度，且值得注意的是，ML-Images的规模仅为JFT-300M的约1/17。这充分说明了ML-Images的高质量和训练方法的有效性。详细对比如下表。

注：微软ResNet-101模型为非迁移学习模式下训练得到，即1.2M预训练图像为原始数据集ImageNet的图像。

腾讯AI Lab此次开源的“Tencent ML-Images”项目，展现了腾讯在人工智能基础能力建设方面的努力，以及希望通过基础能力的开放促进行业共同发展的愿景。

“Tencent ML-Images”项目的深度学习模型，目前已在腾讯多项业务中发挥重要作用，如“天天快报”的图像质量评价与推荐功能。如下图所示，天天快报新闻封面图像的质量得到明显提高。

     优化前（左图）&优化后（右图）

此外，腾讯AI Lab团队还将基于Tencent ML-Images的ResNet-101模型迁移到很多其他视觉任务，包括图像物体检测，图像语义分割，视频物体分割，视频物体跟踪等。这些视觉迁移任务进一步验证了该模型的强大视觉表示能力和优异的泛化性能。“Tencent ML-Images”项目未来还将在更多视觉相关的产品中发挥重要作用。

自2016年腾讯首次在GitHub上发布开源项目（https://github.com/Tencent），目前已累积开源覆盖人工智能、移动开发、小程序等领域的57个项目。为进一步贡献开源社区，腾讯相继加入Hyperledger、LF Networking和开放网络基金会，并成为LF深度学习基金会首要创始成员及Linux基金会白金会员。作为腾讯“开放”战略在技术领域的体现，腾讯开源将继续对内推动技术研发向共享、复用和开源迈进，向外释放腾讯研发实力，为国内外开源社区提供技术支持，注入研发活力。