研发部技术方向-物联网平台、大数据、人工智能

一、物联网云平台

物联网平台为设备提供安全可靠的连接通信能力,向下连接海量设备,支撑设备数据采集上云;向上提供云端API,服务端通过调用云端API将指令下发至设备端,实现远程控制。

物联网平台也提供了其他增值能力,如设备管理、规则引擎等,为各类IoT场景和行业开发者赋能。

物联网平台主要提供以下能力:

1、设备接入

物联网平台支持海量设备连接上云,设备与云端通过IoT Hub进行稳定可靠地双向通信。

(1)提供设备端SDK、驱动、软件包等帮助不同设备、网关轻松接入阿里云。

(2)提供蜂窝(2G/3G/4G/5G)、NB-IoT、LoRaWAN、Wi-Fi等不同网络设备接入方案,解决企业异构网络设备接入管理痛点。

(3)提供MQTT、CoAP、HTTP/S等多种协议的设备端SDK,既满足长连接的实时性需求,也满足短连接的低功耗需求。

(4)开源多种平台设备端代码,提供跨平台移植指导,赋能企业基于多种平台做设备接入。

2、设备管理

物联网平台提供完整的设备生命周期管理功能,支持设备注册、功能定义、数据解析、在线调试、远程配置、OTA升级、远程维护、实时监控、分组管理、设备删除等功能。

(1)提供设备物模型,简化应用开发。

(2)提供设备上下线变更通知服务,方便实时获取设备状态。

(3)提供数据存储能力,方便用户海量设备数据的存储及实时访问。

(4)支持OTA升级,赋能设备远程升级。

(5)提供设备影子缓存机制,将设备与应用解耦,解决不稳定无线网络下的通信不可靠痛点。

3、安全能力

物联网平台提供多重防护,有效保障设备和云端数据的安全。

(1)身份认证 

  1. 提供芯片级安全存储方案(ID²)及设备密钥安全管理机制,防止设备密钥被破解。安全级别很高。
  2. 提供一机一密的设备认证机制,降低设备被攻破的安全风险。适合有能力批量预分配设备证书(ProductKey、DeviceName和DeviceSecret),将设备证书信息烧入到每个设备的芯片。安全级别高。
  3. 提供一型一密的设备认证机制。设备预烧产品证书(ProductKey和ProductSecret),认证时动态获取设备证书(包括ProductKey、DeviceName和DeviceSecret)。适合批量生产时无法将设备证书烧入每个设备的情况。安全级别普通。
  4. 提供X.509证书的设备认证机制,支持基于MQTT协议直连的设备使用X.509证书进行认证。安全级别很高。

(2)通信安全 

  1. 支持TLS(MQTT\HTTP)、DTLS(CoAP)数据传输通道,保证数据的机密性和完整性,适用于硬件资源充足、对功耗不是很敏感的设备。安全级别高。
  2. 支持设备权限管理机制,保障设备与云端安全通信。
  3. 支持设备级别的通信资源(Topic等)隔离,防止设备越权等问题。

4、规则引擎

物联网平台规则引擎包含以下功能:

(1)服务端订阅:订阅某产品下所有设备的某个或多个类型消息,您的服务端可以通过AMQP客户端或消息服务(MNS)客户端获取订阅的消息。

(2)云产品流转:物联网平台根据您配置的数据流转规则,将指定Topic消息的指定字段流转到目的地,进行存储和计算处理。 

  1. 将数据转发到另一个设备的Topic中,实现设备与设备之间的通信。
  2. 如果购买了实例,将数据转发到实例内的时序数据存储,实现设备时序数据的高效写入。
  3. 将数据转发到AMQP服务端订阅消费组,您的服务端通过AMQP客户端监听消费组获取消息。 
  4. 将数据转发到消息服务(MNS)和消息队列(RocketMQ)中,保障应用消费设备数据的稳定可靠性。
  5. 将数据转发到表格存储(Table Store),提供设备数据采集 + 结构化存储的联合方案。
  6. 将数据转发到云数据库(RDS)中,提供设备数据采集+关系型数据库存储的联合方案。
  7. 将数据转发到DataHub中,提供设备数据采集 + 大数据计算的联合方案。
  8. 将数据转发到时序时空数据库(TSDB),提供设备数据采集 + 时序数据存储的联合方案。
  9. 将数据转发到函数计算中,提供设备数据采集 + 事件计算的联合方案。
  10. 场景联动:配置简单规则,即可将设备数据无缝流转至其他设备,实现设备联动。

目前我们的研发能力:

  1. 目前我们在设备接入能力上实现了个别协议的接入,未做到多协议的适配;未形成多种平台设备端SDK、驱动、软件包,不能立即赋能各种企业的多种设备接入。其次在设备管理能力上只能做到设备信息的基本管理,高级功能未具备;最后在安全能力和规则引擎上基本为空白,核心能力也恰巧在此。
  2. 目前市面场物联网架构平台较多,大致分为两种:
  • 平台系:提供一整套平台组件,无需准备任何资源,可直接使用。例如BAT、华为等。收取一定基础费用(1万元/年/1000个连接)(这部分费用主要是服务器费用);

        好处:操作方便,简单、快速。

        缺点:需要支付基础费用,闲置时不划算。其次无任何源码积累。

  • 部分开源系:提供服务端安装方法,自己提供服务器部署,例如EMQ。无基础费用,拓展设备数量时额外收费(4000元/年/500个连接)。

        好处:即用即买,省去基础费用。

        缺点:专业性无大厂高,其次无任何源码积累。

二、大数据处理

数据处理流程主要包括数据收集、数据预处理、数据存储、数据处理与分析、数据展示/数据可视化、数据应用等环节,其中数据质量贯穿于整个大数据流程,每一个数据处理环节都会对大数据质量产生影响作用。通常,一个好的大数据产品要有大量的数据规模、快速的数据处理、精确的数据分析与预测、优秀的可视化图表以及简练易懂的结果解释。

(一)数据收集

在数据收集过程中,数据源会影响大数据质量的真实性、完整性数据收集、一致性、准确性和安全性。对于Web数据,多采用网络爬虫方式进行收集,这需要对爬虫软件进行时间设置以保障收集到的数据时效性质量。

(二)数据预处理

大数据采集过程中通常有一个或多个数据源,这些数据源包括同构或异构的数据库、文件系统、服务接口等,易受到噪声数据、数据值缺失、数据冲突等影响,因此需首先对收集到的大数据集合进行预处理,以保证大数据分析与预测结果的准确性与价值性。

大数据的预处理环节主要包括数据清理、数据集成、数据归约与数据转换等内容,可以大大提高大数据的总体质量,是大数据过程质量的体现。 数据清理技术包括对数据的不一致检测、噪声数据的识别、数据过滤与修正等方面,有利于提高大数据的一致性、准确性、真实性和可用性等方面的质量; 

数据集成则是将多个数据源的数据进行集成,从而形成集中、统一的数据库、数据立方体等,这一过程有利于提高大数据的完整性、一致性、安全性和可用性等方面质量;  

数据归约是在不损害分析结果准确性的前提下降低数据集规模,使之简化,包括维归约、数据归约、数据抽样等技术,这一过程有利于提高大数据的价值密度,即提高大数据存储的价值性。

数据转换处理包括基于规则或元数据的转换、基于模型与学习的转换等技术,可通过转换实现数据统一,这一过程有利于提高大数据的一致性和可用性。

总之,数据预处理环节有利于提高大数据的一致性、准确性、真实性、可用性、完整性、安全性和价值性等方面质量,而大数据预处理中的相关技术是影响大数据过程质量的关键因素

(三)数据处理与分析

1、数据处理

大数据的分布式处理技术与存储形式、业务数据类型等相关,针对大数据处理的主要计算模型有MapReduce分布式计算框架、分布式内存计算系统、分布式流计算系统等。MapReduce是一个批处理的分布式计算框架,可对海量数据进行并行分析与处理,它适合对各种结构化、非结构化数据的处理。分布式内存计算系统可有效减少数据读写和移动的开销,提高大数据处理性能。分布式流计算系统则是对数据流进行实时处理,以保障大数据的时效性和价值性。

2、数据分析 

大数据分析技术主要包括已有数据的分布式统计分析技术和未知数据的分布式挖掘、深度学习技术。分布式统计分析可由数据处理技术完成,分布式挖掘和深度学习技术则在大数据分析阶段完成,包括聚类与分类、关联分析、深度学习等,可挖掘大数据集合中的数据关联性,形成对事物的描述模式或属性规则,可通过构建机器学习模型和海量训练数据提升数据分析与预测的准确性。

数据分析是大数据处理与应用的关键环节,它决定了大数据集合的价值性和可用性,以及分析预测结果的准确性。在数据分析环节,应根据大数据应用情境与决策需求,选择合适的数据分析技术,提高大数据分析结果的可用性、价值性和准确性质量。

(四)数据可视化与应用环节

数据可视化是指将大数据分析与预测结果以计算机图形或图像的直观方式显示给用户的过程,并可与用户进行交互式处理。数据可视化技术有利于发现大量业务数据中隐含的规律性信息,以支持管理决策。数据可视化环节可大大提高大数据分析结果的直观性, 便于用户理解与使用,故数据可视化是影响大数据可用性和易于理解性质量的关键因素。 

  

主要计算处理模式:

目前我们的研发能力:

(1)之前娃娃机实时概率计算用到了流计算下得storm架构,其他产品未涉及。

(2)目前大数据领域还在于数据收集、数据清洗以及数据分类阶段,计算方面涉及不到,我建议目前阶段以采集数据为主,为后期提供数据标本。

三、人工智能

主要包含以下几个领域:

1机器学习

2视觉智能

1三维空间重建

2图像搜索

3图像识别

4人脸识别

5实人认证

3智能语音交互

1录音文件识别

2实时语音转写

3语音合成

4文字识别

1通用识别

2个人证照

3发票识别

5产业智能

1城市大脑

2工业大脑

3农业大脑

4环境大脑

5医疗大脑

6航空大脑

研发部技术方向-物联网平台、大数据、人工智能_第1张图片

目前我们的研发能力:

基本为空白,但这类接口开放性大,做二次开发的灵活性较大,就现阶段需求来说够用,后期如果需要技术积累,需投入研发。

你可能感兴趣的:(在经历中思考,物联网,大数据,人工智能)