CCAI 2019｜梅涛：计算机视觉结合深度学习，迸发全新动力

2019年中国人工智能大会（Chinese Congress on Artificial Intelligence 2019，简称“CCAI 2019”）将于9月21日-22日在青岛召开。梅涛博士将出席大会并担任视觉语音语言多模态论坛共同主席。

梅涛，京东集团技术副总裁，京东人工智能研究院副院长，计算机视觉与多媒体实验室主任，国际电气电子工程师学会和国际模式识别学会会士(Fellow of IEEE and IAPR)，国际计算机协会杰出科学家 (Distinguished Scientist of ACM)，同时担任中国科学技术大学、复旦大学、香港中文大学（深圳）以及韩国延世大学的客座教授，IEEE 和 ACM 视觉与多媒体汇刊等顶级学术期刊的编委。他主要从事计算机视觉与多媒体领域的基础研究和技术创新，负责京东人工智能事业部计算机视觉产品线的研发。

什么是深度视觉理解？

学术界一直在讨论人工智能能做什么，不能做什么。但对于来自于学术界或者企业界的技术人员来说，其实所研究的问题十几年前就已经存在，而且到现在为止还没有得到完整的解决。有一些人认为人工智能是万能的，那么为什么不能完全解决十几年前的问题呢？梅涛博士用一个十分形象的例子来说明原因：假如我们的任务是敲钉子，最初我们是用锤子敲钉子。现在人工智能、深度学习兴起之后，我们只不过是换了一把好点的锤子，把钉子往里敲了一点，但是仍未完全敲进去。很多人都希望人工智能找到能把钉子完全敲进去的好锤子，但实际上能否找到还不好说。

而在计算机视觉领域之中，视觉理解就是这样一个没有被完全解决的问题。深度视觉理解中的深度有两层含义，一是可以借助深度学习这个工具，二是对视频或者图像内容的理解可以达到很深的地步。除此之外，我们其实还希望计算机在理解的同时能够生成描述，让它不仅能听、能看，而且能写、能说。

计算机视觉研究哪些问题？

在视觉理解领域，把问题按照粒度从小到大排列，可以分为语义分割、目标检测、图片分类、图像描述和视觉故事生成等几个层级。语义分割问题需要理解到确定每个像素属于哪一类；高一级是目标检测，目标检测不关心每个像素的类别，只关心能不能把目标检测出来；如果不关心目标的位置，只关心图片中具体有哪些目标，就是图片分类；粒度再粗一些，将图片对应标签通过自然语言理解生成一句话，就是所谓的图像描述；最后一级叫故事生成，即基于图片序列生成一个完整的用自然语言表达的故事。

对于视觉理解部分，深度学习技术的出现建立了计算机视觉和自然语言处理之间连接的桥梁。这个桥梁也可以是双向的，既可以从视觉生成文字（如caption、sentiment、visual question answering等），也可以从文字到视觉（如generation、search）。

计算机视觉研究的未来

然而，相较于学术界的进展，在真实的应用场景中，我们仍面临着技术不够成熟、鲁棒性不足等问题，离真正落地仍有很长的路要走。梅涛表示，就目前技术所达到的水平来说，深度学习可以接近五岁小孩的水平。五岁的小孩还不太懂事，让他做图像分割，不一定做的比机器好。我们希望机器人视觉能力可以达到七岁小孩的水平，也就是一年级小朋友的识图水平，比如可以看图说话，可以看图回答一些简单的问题。

在过去的几年，尤其是2012年深度学习在ImageNet图像分类任务中取得突破之后，计算机视觉技术在“结构化”（或标准化的）图像识别领域的商业应用中取得了很大的成功，例如人脸识别、光学字符识别（OCR），以及特定种类或细分类别的图像识别（如车型、商品图像）等。现在很多的明星AI初创公司都是将深度学习应用在这些“结构化”的图像识别领域。如果我们将这些应用称为计算机视觉技术的商业化1.0时代，那么我们就要为即将到来的2.0时代做好技术储备和工程化的打磨。在2.0时代，我们遇到的视觉信号往往很难“结构化”，我们遇到的场景也很难“标准化”。例如，在安防领域，我们将面对更多的非人脸识别的需求，视频分析和结构化也会是刚需。如何在这些更大的、非标准化的场景中应用计算机视觉技术是对我们的挑战。

今天，深度学习技术为计算机视觉领域带来了全新的动力，这将只是一个开始，随着多模态信息的加入（如交互、语音、文本等），计算机将能够更好地理解这个多维的世界，为人工智能全方位服务人类提供可能。

更多精彩内容，详见CCAI 2019官方网站...