一、物联网云平台
物联网平台为设备提供安全可靠的连接通信能力,向下连接海量设备,支撑设备数据采集上云;向上提供云端API,服务端通过调用云端API将指令下发至设备端,实现远程控制。
物联网平台也提供了其他增值能力,如设备管理、规则引擎等,为各类IoT场景和行业开发者赋能。
物联网平台主要提供以下能力:
1、设备接入
物联网平台支持海量设备连接上云,设备与云端通过IoT Hub进行稳定可靠地双向通信。
(1)提供设备端SDK、驱动、软件包等帮助不同设备、网关轻松接入阿里云。
(2)提供蜂窝(2G/3G/4G/5G)、NB-IoT、LoRaWAN、Wi-Fi等不同网络设备接入方案,解决企业异构网络设备接入管理痛点。
(3)提供MQTT、CoAP、HTTP/S等多种协议的设备端SDK,既满足长连接的实时性需求,也满足短连接的低功耗需求。
(4)开源多种平台设备端代码,提供跨平台移植指导,赋能企业基于多种平台做设备接入。
2、设备管理
物联网平台提供完整的设备生命周期管理功能,支持设备注册、功能定义、数据解析、在线调试、远程配置、OTA升级、远程维护、实时监控、分组管理、设备删除等功能。
(1)提供设备物模型,简化应用开发。
(2)提供设备上下线变更通知服务,方便实时获取设备状态。
(3)提供数据存储能力,方便用户海量设备数据的存储及实时访问。
(4)支持OTA升级,赋能设备远程升级。
(5)提供设备影子缓存机制,将设备与应用解耦,解决不稳定无线网络下的通信不可靠痛点。
3、安全能力
物联网平台提供多重防护,有效保障设备和云端数据的安全。
(1)身份认证
(2)通信安全
4、规则引擎
物联网平台规则引擎包含以下功能:
(1)服务端订阅:订阅某产品下所有设备的某个或多个类型消息,您的服务端可以通过AMQP客户端或消息服务(MNS)客户端获取订阅的消息。
(2)云产品流转:物联网平台根据您配置的数据流转规则,将指定Topic消息的指定字段流转到目的地,进行存储和计算处理。
目前我们的研发能力:
好处:操作方便,简单、快速。
缺点:需要支付基础费用,闲置时不划算。其次无任何源码积累。
好处:即用即买,省去基础费用。
缺点:专业性无大厂高,其次无任何源码积累。
二、大数据处理
数据处理流程主要包括数据收集、数据预处理、数据存储、数据处理与分析、数据展示/数据可视化、数据应用等环节,其中数据质量贯穿于整个大数据流程,每一个数据处理环节都会对大数据质量产生影响作用。通常,一个好的大数据产品要有大量的数据规模、快速的数据处理、精确的数据分析与预测、优秀的可视化图表以及简练易懂的结果解释。
(一)数据收集
在数据收集过程中,数据源会影响大数据质量的真实性、完整性数据收集、一致性、准确性和安全性。对于Web数据,多采用网络爬虫方式进行收集,这需要对爬虫软件进行时间设置以保障收集到的数据时效性质量。
(二)数据预处理
大数据采集过程中通常有一个或多个数据源,这些数据源包括同构或异构的数据库、文件系统、服务接口等,易受到噪声数据、数据值缺失、数据冲突等影响,因此需首先对收集到的大数据集合进行预处理,以保证大数据分析与预测结果的准确性与价值性。
大数据的预处理环节主要包括数据清理、数据集成、数据归约与数据转换等内容,可以大大提高大数据的总体质量,是大数据过程质量的体现。 数据清理技术包括对数据的不一致检测、噪声数据的识别、数据过滤与修正等方面,有利于提高大数据的一致性、准确性、真实性和可用性等方面的质量;
数据集成则是将多个数据源的数据进行集成,从而形成集中、统一的数据库、数据立方体等,这一过程有利于提高大数据的完整性、一致性、安全性和可用性等方面质量;
数据归约是在不损害分析结果准确性的前提下降低数据集规模,使之简化,包括维归约、数据归约、数据抽样等技术,这一过程有利于提高大数据的价值密度,即提高大数据存储的价值性。
数据转换处理包括基于规则或元数据的转换、基于模型与学习的转换等技术,可通过转换实现数据统一,这一过程有利于提高大数据的一致性和可用性。
总之,数据预处理环节有利于提高大数据的一致性、准确性、真实性、可用性、完整性、安全性和价值性等方面质量,而大数据预处理中的相关技术是影响大数据过程质量的关键因素
(三)数据处理与分析
1、数据处理
大数据的分布式处理技术与存储形式、业务数据类型等相关,针对大数据处理的主要计算模型有MapReduce分布式计算框架、分布式内存计算系统、分布式流计算系统等。MapReduce是一个批处理的分布式计算框架,可对海量数据进行并行分析与处理,它适合对各种结构化、非结构化数据的处理。分布式内存计算系统可有效减少数据读写和移动的开销,提高大数据处理性能。分布式流计算系统则是对数据流进行实时处理,以保障大数据的时效性和价值性。
2、数据分析
大数据分析技术主要包括已有数据的分布式统计分析技术和未知数据的分布式挖掘、深度学习技术。分布式统计分析可由数据处理技术完成,分布式挖掘和深度学习技术则在大数据分析阶段完成,包括聚类与分类、关联分析、深度学习等,可挖掘大数据集合中的数据关联性,形成对事物的描述模式或属性规则,可通过构建机器学习模型和海量训练数据提升数据分析与预测的准确性。
数据分析是大数据处理与应用的关键环节,它决定了大数据集合的价值性和可用性,以及分析预测结果的准确性。在数据分析环节,应根据大数据应用情境与决策需求,选择合适的数据分析技术,提高大数据分析结果的可用性、价值性和准确性质量。
(四)数据可视化与应用环节
数据可视化是指将大数据分析与预测结果以计算机图形或图像的直观方式显示给用户的过程,并可与用户进行交互式处理。数据可视化技术有利于发现大量业务数据中隐含的规律性信息,以支持管理决策。数据可视化环节可大大提高大数据分析结果的直观性, 便于用户理解与使用,故数据可视化是影响大数据可用性和易于理解性质量的关键因素。
主要计算处理模式:
目前我们的研发能力:
(1)之前娃娃机实时概率计算用到了流计算下得storm架构,其他产品未涉及。
(2)目前大数据领域还在于数据收集、数据清洗以及数据分类阶段,计算方面涉及不到,我建议目前阶段以采集数据为主,为后期提供数据标本。
三、人工智能
主要包含以下几个领域:
1、机器学习
2、视觉智能
(1)三维空间重建
(2)图像搜索
(3)图像识别
(4)人脸识别
(5)实人认证
3、智能语音交互
(1)录音文件识别
(2)实时语音转写
(3)语音合成
4、文字识别
(1)通用识别
(2)个人证照
(3)发票识别
5、产业智能
(1)城市大脑
(2)工业大脑
(3)农业大脑
(4)环境大脑
(5)医疗大脑
(6)航空大脑
目前我们的研发能力:
基本为空白,但这类接口开放性大,做二次开发的灵活性较大,就现阶段需求来说够用,后期如果需要技术积累,需投入研发。