腾讯云大学大咖分享 | AIoT如何使能万物智联
点击观看完整课程
伴随着信息大爆炸和通讯技术的发展，“AIoT”俨然成为了当前科技和互联网领域的一个热门词汇，各大知名厂商纷纷表示自己要布局AIoT。到底什么是AIoT？AIoT到底有些什么优势呢？「腾讯云大学」联合「云加社区」为大家整理了大咖直播课《腾讯云 AIoT 解决方案》的回顾，看看腾讯云的IoT高级产品经理是如何理解AIoT的。
目前我们已经处于一个万物互联的时代，随着人工智能技术的发展以及技术之间的相互融合，我们也想把万物互联转换成万物智联。把原来的AI能力附着在通信能力之上，就形成了AI+IoT的架构。如图所示，左下角部分是物联网通信技术，右上角是云上的AI推理平台。传统的解决方案都是类似这样，把AI放在云端，这样的方案是否会存在不足之处呢？
试想一下，在家居或者是商务场景中，会有一些边缘的摄像头，我们通过这些摄像头获得视频流数据，这些数据经过物理连接层、网络接入层、IoT Hub或IoT Video等通信渠道到达云端，在AI推理平台中进行推断，推断结束后再以相同链路返回边缘侧。这样至少会带来2大问题：高额的流量成本和远程调用的高时延。这不禁使我们腾讯云的团队去思考如何改良这种方案。
除此以外，我们也接收到了很多不同的需求，希望在边缘侧快速实现AI的功能。比如在智慧工厂方面，一些客户对分布各地的企业工厂在圣餐过程中的半成品、成品进行自动化的质量检测。智慧零售方面，AI应用于广泛分布式部署的无人货柜、商铺智能导购等场景，需要迅速识别商品人员。
随着技术的发展与融合让边缘AI落地成为可能。容器编排技术经过4年时间的发展逐渐成熟，这种技术让应用更容易地移植到云端；AI加速芯片的出现使得边缘智能设备的算力大幅提高并可灵活伸缩：不同AI计算框架让AI应用开发者的上手门槛大幅降低，他们可以更快地开发出应用；成熟的物联网数据采集技术为AI模型训练输入提供了良好基础。
前面说了这么多AIoT技术的发展和应用场景，以及我们腾讯云试图去改善AIoT的背景。那么，腾讯云针对于目前AIoT的需求推出了什么解决方案呢？
腾讯云关于边缘AIoT的解决方案是IoT EIDP。IoT EIDP与其他物联网组件、AI组件共筑腾讯云AIoT，具体结构如下图。
IoT EIDP主要有以下6大特点：设备自动接入、脱机AI计算、丰富算法市场、快速二次开发、快速一键部署和主流硬件平台。丰富的算法市场指的是集合了腾讯自有AI算法、第三方AI算法，满足不同客户对不同边缘场景下的需求
基于IoT EIDP的6大特点，可以给用户带来更快速地数据相应，更低的带宽和云存成本，更便捷的系统部署与维护，以及一站式的AI算法选择、硬件平台选择。
为了给用户好的使用体验，IoT EIDP采用了独特的技术架构。首先我们来看看总体架构，下图虚线框内就是总体架构，主要分为3个部分：应用与模型发布工具、应用与模型分发平台、边缘网关/盒子软件栈。应用与模型分发平台会对用户的应用、模型市场的应用、边缘侧设备进行管理。
接下来我们来看看各部分的细节是怎么样的。应用于模型发布架构有Docker管理、应用管理、可视化编辑应用、应用发布4个功能，和应用与模型分发平台架构的设备管理、应用管理、设备群组管理、应用群组管理4个模块分别对应。
软件栈的部分是边缘AI能力的基础，以容器引擎为底座，可以支持基于各类AI加速芯片的硬件平台。容器之上是设备接入服务，支持各类协议接入，如MQTT、RTSP/RTP/RTCP等。再往上看，是核心服务和智能分析服务。智能分析服务中有一个AI中间键，让用户可以根据自己的需求选择不同配置的AI加速器。最上层的是模型应用服务和云端连接服务，在模型应用服务推断出结果后，通过窄带和宽带推流连接到云端。除此以外，我们还设置了安全服务。
边缘侧是怎样实现边缘AI的技术细节呢？首先是服务发现与注册功能，会经过微服务启动——服务发现——服务调用——健康检查几个环节。
在数据处理方面，我们开放了至少15个模型，这些模型分为两类，一类是基础模型，即我们把模型能力进行抽象，提供简单易用的SDK，实现整个推断的流程。
另一类是高阶的AI数据的处理。边缘AI软件协议栈内置gRPC和RESTful API两种调用方式，方便开发者在1分钟内部署AI推理模型，同时，这个模型基于OpenVino中间件，可以快速提升性能。
数据处理完之后就涉及到数据分发的流程了。分发流程集成IoT Hub的窄带通信能力，以及IoT Video的宽带通信能力，实现结构化数据输出以及事件触发联动的视频输出。
前面有提到过，在边缘侧有一个垂直的安全的能力。这个安全的能力是指我们会结合腾讯云物联网中心，运用一款TID的产品，它主要提供模型版权保护和边缘设备身份认证两个功能。
一般边缘AI数据都特别大，有些用户会担心如果直接分发到云端的话，是否会造成大流量、大存储的问题。确实可能会有这样的影响，但是我们在边缘侧采用的是Docker的技术，天然地运用了镜像分层的原理，能使用同一个机组接纳容器，共用同一块数据空间，这样可以节省存储。同时，基于设备预装的Docker容器中间件，可以将基于同样AI中间件的应用模型，分发流量由平均2G下降到小于1G。
为了搭配IoT EIDP的软件平台，我们还提供了运行边缘AI的硬件，支持灵活VPU算力和多达16路1080P的视频编码、解码，保证用户快速地实现边缘AI的能力。
IoT EIDP 可以让客户方便地创建边缘节点、选购各类AI算法模型、发布自有 AI 模型或二次开发应用、并通过云端控制台一键部署至边缘侧，让物联网数据处理响应更快速、带宽要求更低，进一步节约客户运维成本。
Q&A
Q：平台是否提供公开的算法模型
A：提供，目前我们已经上线了15个模型，之后我们还会开放生态，欢迎各厂家和个人开发者自己上传模型。
Q：一个盒子可以支持多个模型吗？
A：可以，因为是基于OpenVino的，OpenVino天然的调度框架就支持多个模型。