开放平台架构_海康威视高级副总裁浦世亮：我们为什么要推出“AI开放平台”？...

近日，由雷锋网 & AI掘金志主办的「第二届中国人工智能安防峰会」在杭州召开。

峰会现场，海康威视高级副总裁、研究院院长浦世亮发表了题为《AI赋能，共筑未来》的演讲。

浦世亮表示，虽然实体经济对AI的需求非常旺盛，但AI的落地并不容易，需要具备数据、算法、算力、产品、系统五大条件。但事实上，大部分传统企业都很难具备上述所有能力，这正是AI落地难的主要原因。

因此，寻找一种新的社会组织方式，更好地分享和利用资源显得至关重要。海康威视的AI开放平台正是出于这一目的而推出的。

浦世亮介绍，过去一年里，海康威视已经成功将AI开放平台应用于环保、物流、旅游、气象、城管等多个领域的智能化升级。

以下为浦世亮的现场演讲内容，雷锋网作了不改变原意的编辑及整理：

各位尊敬的来宾，大家上午好，我是海康威视研究院的浦世亮。首先感谢雷锋网的邀请，让我有这个机会向大家介绍海康威视在过去一年中用AI赋能实体经济，以及构建AI开放生态方面所做的一些工作。

到21世纪我们的信息环境已经发生了巨大而深刻的变化。随着移动终端、互联网和物联网的发展，感知设备已遍布城市各处，布满全球的网络连接着设备与个人、个体与群体，我们的世界已经从以往的物理空间和人类社会构成的二元空间，变为了由物理空间、人类社会及信息空间组成的三元空间。经济的发展也随着信息环境的变化，历经了信息化、数字化的进程，迎来了智能化的浪潮。我们知道，在物联网信息空间中，有80%以上的数据是视觉数据，利用好视觉智能对于场景进行感知，可以在各个行业中延展出大量的智能应用。

另一方面，随着我国人口红利的消失，传统产业的盈利能力逐年下降，产业的升级势在必行，人工智能技术是产业升级的核心技术手段。在传统产业人工智能技术有着巨大的应用价值。根据国务院发布的新一代人工智能发展规划，到2030年，预计人工智能核心产业规模将超过 1万亿元，带动相关产业规模超过10万亿元 。但是另一方面，由于人工智能技术所处的发展阶段，现在的人工智能技术还只适用于确定性的有约束的任务，因此人工智能应用正在以场景化、碎片化的形式大量涌现。

AI在实体经济中的需求非常旺盛，但是AI在实体经济落地却并不容易，因为AI落地需要具备五大条件，分别是数据、算法、算力、产品和系统。首先是数据，发展智能技术需要海量的训练数据，二是算法，要有较强的AI算法设计能力，三是计算，AI算法的训练和部署都需要庞大算力的支撑。再就是产品，人工智能的能力需要硬件产品承载；最后是系统，要有完整的人工智能解决方案。大部分传统企业很难具备以上所有能力，这就是为什么AI在实体经济中需求巨大但是很难落地的原因。

怎样才能使数量众多的传统产业用户受益于AI技术的发展呢？人工智能领域的泰斗Geffrey Hinton教授曾经说过，在一个组织良好的社会，如果生产力提高，那么每个人都会获益，问题不在于技术，而是分享利益的方式。因此为了使AI技术能够让更多的行业和个人受益，我们需要构建一个开放共享的人工智能产业环境，让每一位参与者都能够分享AI带来的生产力提高。

海康威视非常愿意在这个过程中贡献自己的力量。为此，我们研发了AI开放平台，这个平台一方面可以帮助零算法基础的用户开发自己行业的智能算法，另一方面可以帮助广大AI从业者拥有自己的智能硬件产品和解决方案。

这个平台具有三个特点：第一是它能够基于很少量数据，快速生成满足场景化需求的AI算法；第二是算法训练、编译、优化全部自动实现，对零算法基础的客户提供一站式服务；最后它基于海康威视的硬件基础，开放了具有强大感知能力的智能产品。

根据我们以往的经验，AI技术在一个场景中的落地往往需要漫长而专业的开发过程，从数据的收集标注、算法设计、训练、集成到上线往往需要历经数月。现在我们通过AI开放平台，利用各种自动化的工具，使得AI算法的开发过程，变得非常简易。一个零算法基础的用户，可以在一个小时之内完成整个算法的训练及部署。

下面我将首先通过一个零售行业的案例，来说明怎样通过AI开放平台实现特定场景的算法训练和部署。

在零售行业，商场的工作人员每天需要进行货架商品的盘点和补货，耗费大量的人力。为此他们希望通过摄像机对货架上商品存量进行检测，从而达到补货提醒目的。

首先用户在平台上创建算法模型，并上传少量现场的图像，然后进行数据标定，标定过程非常简单，只需要完成物品的框选和分类选择。

完成标注后，在线训练算法模型。

最终用户将训练好的算法模型部署到海康的摄像机中。就这样一台具有货架商品检测及缺货提醒的智能摄像机就开发完成了。整个过程在一个小时内完成。

这是AI开放平台的系统架构。平台包括了基础设施层、资源层和服务层。以多维感知系统，分布式存储系统，高性能计算平台构建基础设施层；在资源层，建立领域模型、数据资源池、算法仓库三类资源；在服务层开放了算法训练、智能应用服务，以及智能产品的开放体系。

下面我将介绍开放平台提供的这几种服务能力。

我们知道，现在的深度学习算法是数据驱动的，但是用户很难获取海量的训练数据。为了帮助行业用户突破数据鸿沟，AI开放平台提供了基于领域模型的迁移学习能力。AI开放平台训练了大量不同应用领域的领域模型，根据用户的任务，开放平台会自动选择的一个领域模型作为训练基础，然后在这个训练基础上利用场景数据进行迁移学习。

这张图表是对船只图像进行检测的算法实验结果，横坐标是参与训练的数据量，纵坐标是检测精度，虚线是迁移学习结果，实线是全量学习结果。从实验数据可以看到，迁移学习仅用100张左右的训练样本，算法就能获得85%的检测精度；而从头开始训练的话要达到同样性能则至少需要5000张样本。基于领域模型的迁移学习使用户能够用极少量的数据得到一个可用算法，极大的降低了用户在数据上门槛。

为了帮助用户进一步突破数据瓶颈，平台还开发了虚拟数据引擎，它利用三维建模、光线追踪、对抗学习等技术生成虚拟数据来丰富训练样本。第一个视频展示了虚拟生成的不同摆放位置和角度的货架商品样本；第二个视频展示了通过模拟光斑，字符叠加效果，虚拟生成的制造工件样本；第三个视频展示了通过三维建模，虚拟生成的室内场景。

虚拟数据引擎可以帮助用户丰富训练样本，大大降低了用户的数据成本。

除了数据准备之外，深度学习算法设计也是一件艰难的工作，它包括神经网络结构的设计和超参数的调整，一般都需要资深的算法工程师参与。为了帮助算法设计能力不足的用户，我们开发了模型架构搜索算法，该算法用庞大的计算能力自动寻找神经网络模型的最优解。由用户提交任务并设定约束条件，例如算法所消耗的计算资源和内存资源，由检索引擎自动完成算法设计工作。AI开放平台投入了大规模并行训练系统用以支持模型架构搜索服务上线。

在完成模型训练后，算法在产品端的移植工作也需要投入大量研发工作。为了提升从算法到产品的研发效率，开放平台开发了AI编译器，AI编译器利用神经网络图优化、汇编优化、指令编译优化等技术手段实现了算法在各类芯片平台上的自动优化及部署。由上图可以看到通过AI编译器自动优化的算法，其执行效率大幅度优于通用的优化方法。AI编译器现在已经支持多种云端及边缘端的计算平台，使得人工智能算法在海康前后端产品的移植变得非常便捷。

AI开放平台开放了大量海康已有的智能应用能力供行业用户调用，包括各种视频感知及跨媒体感知的能力。我们开放的视频感知能力包括各种目标的属性识别能力，以及对多种物品和行为的精准感知能力；平台还提供文字识别和语音识别能力。平台还提供多种跨媒体信息的融合感知能力。AI开放平台通过萤石云上线我们的智能应用服务。

人工智能技术在我国实体经济中大规模落地，需要人数众多的AI从业者进行持续的大众创新和群智涌现。但是现在AI从业者面临的一个难题是往往缺少合适的产品来承载他们的算法，为此我们开放了前后端全系列的人工智能硬件产品，以帮助AI从业者，实现他们自己的AI功能及方案。

我们的设备开放体系，包括设备操作系统，集成开发套件和云端配套服务。首先我们开放了海康设备操作系统，提供设备的各项基础能力，包括图像处理、编解码、存储、传输等能力；另外我们提供了集成开发套件，它基于容器技术开放了设备的AI计算资源，使用户可以在产品上集成自有算法；最后我们在云端提供多种配套服务，包括编译环境、测试环境，应用商店和授权工具。我们相信在海康强大的产品能力的帮助下，广大AI从业者可以更快的在实体经济中实现AI的价值。

设备端的感知能力是AI算法的基础，基于海康威视在图像领域多年的积累，我们的智能产品具有强大的感知能力。

例如如我们的黑光相机，通过混合补光和双光融合技术以及独特的双Sensor架构，实现了从可见光到近红外波长光线的高效利用，大大提升了低照度场景下的图像质量。

我们的鹰眼相机，通过多镜头多方位同时采集图片，无缝拼接提供超宽视场角，实现了对场景360°全景覆盖。

我们的摄像机还加入了基于传感器原始信号的超分辨率技术，并利用深度学习对成像过程进行端到端的计算优化，从根源上实现图像质量的优化增强，明显提升图像细节的分辨能力与目标的可辨识度，在图像质量上为AI算法提供了一个更好的基础。

除此之外，我们还提供多传感器融合技术。上面展示的是“高精度全场景感知技术”。我们利用多模态数据融合技术将激光雷达、摄像机、差分GPS、惯性传感器，轮速传感器进行底层信息融合，实现环境和三维目标的高精度感知，这种感知方案可以在任何光照条件以及恶劣的天气情况下正常工作，可广泛应用于智能移动机器人和自动驾驶汽车等自主无人系统。

之前我们介绍了AI开放平台在智能感知领域的工作，AI技术在产业的深化应用还需要广泛应用智能认知领域的技术。大数据智能是实现智能认知的重要手段，它对大数据进行深入分析，探析其隐含模式和规律，构建从数据到知识进而到决策的计算范式。

但是大数据智能技术在行业中应用的过程中面临诸多难题包括多元异构物联数据的高效存算问题、大数据的抽象和理解问题、便捷的建模及应用问题。AI开放平台通过并行化算子、多数据架构、多计算框架等技术，解决多元异构物联数据的存储计算问题。通过机器学习、深度学习、知识图谱、图挖掘等算法，解决大数据的抽象和理解问题；通过可视化建模、模型仓库等能力，解决大数据挖掘应用的便捷开发和推广问题

以上这些大数据智能领域的能力，AI开放平台会陆续上线。

海康威视的营销网络遍布全国，包括了经销商、客户、分公司、仓库等众多节点，各个节点之间，每天都会发生商机、订单、配送等大量具有时空属性的关系。如何提升这张营销网络的运行效率，成为海康面临的一个挑战。我们尝试用大数据智能来优化这张网络。

1.我们首先应用知识图谱构建和图神经网络等算法，识别出运营效率较低的子网络，如图中红色标记的部分；

2.然后基于强化学习的图优化算法，去重塑该网络的拓扑结构，建立更高效的营销与物流路径。

3.最终在全国的营销网络上，实现流转效率的提高，及运营成本的降低，实现了大数据智能与企业运营的深度融合。

以上我介绍了AI开发平台在智能感知、智能认知、智能硬件等领域开放的服务，接下来简单介绍一下AI开发平台过去一年在各个行业中的应用。环境保护与我们每一个人都息息相关，环保领域是海康威视AI开放平台重点支持的一个方向，在过去一年中我们利用AI开放平台帮助用户实现了大量环保领域的应用。例如秸秆燃烧检测、河道漂浮物检测及污水排放检测。在动物保护方面，我们对野生东北虎的长期野外监测和智能识别，为动物保护工作提供了有力的支撑。

除了上述案例，我们还在零售、农业、物流、制造、餐饮、旅游、气象等多个行业中帮助客户实现智能化的升级。例如在餐饮行业我们的用户利用AI开放平台检测厨房的卫生情况，在景区我们的用户利用AI开放平台实现了拍照识景功能。AI技术在各个行业呈现出巨大的应用价值。

人工智能的时代已经到来，海康威视愿与各位同仁一起携手共进，赋能行业，共筑未来！

关于中国人工智能安防峰会

由雷锋网 & AI掘金志主办的「2019中国人工智能安防峰会」，是业内极具影响力的AI安防论坛，致力于推动中国“AI-安防”落地融合与“学术-产业”的应用交叉。

延续上一届峰会的高水准、高人气，2019中国人工智能安防峰会再度站在算法、工程和产品的最前沿，引导安防行业认知再升级。这是海康、大华、华为、阿里、腾讯以及多个AI独角兽，因“AI安防”首次同台，峰会现场也聚集了海内外1000多位政企管理层和技术研究员，共同探讨2019年的AI安防智能技术部署、前沿算法应用与商业战略布局。

本次峰会共设置“城市大脑与边缘计算”、“世界顶尖算法应用”、“前端动态识别与智能视频云”、“城市AIoT与边缘智能引擎”四大议题，出席的15位演讲嘉宾分别是：

上午场：阿里巴巴华先胜、海康威视浦世亮、大华股份殷俊、地平线张永谦、深瞐科技陈瑞军、商汤科技张果琲、浪潮商用机器张琪。

下午场：香港科技大学权龙、原松下(新加坡)研究院申省梅、华为余虎、触景无限肖洪波、旷视科技安洋、千视通胡大鹏、腾讯李牧青、中科院自动化所王金桥。