2021-07-13

新一代工业互联网平台之二——极简工业大数据云平台架构

大海_WH

工业互联网

1.技术架构

极简工业云端大数据平台主要包括云端分布式大数据处理系统（数据处理）、WEB用户管理应用系统（建模分析）、小程序应用系统、WEB大屏展示应用系统API接口和人工智能六部分组成。其主要包括采集器、分布式消息中间件、处理器/实时分析器、离线分析器（分析器）和web应用和移动端应用部分组成。采用分布式处理+负载均衡、支持分布式海量数据存储、支持大数据检索、分析、挖掘、API接口、人工智能等。图1为 极简工业大数据平台系统方框图。

图1 极简工业大数据平台系统方框图

2.采集器

（1）主要功能

终端合法性认证，云端连接管理，通信加解密，数据采集、控制指令下发、远程编程。

（2）技术方案

采集器采用基于java NIO技术的netty开发的，理论上单台服务器能支持万级的TCP连接。

原始数据传入分布式消息队列kafka，在使用峰值的时间段内，可以缓存一定量的数据。同时也起到了解耦和的效果，任何新增加的处理模块可以通过订阅功能获取原始数据。图2为采集器组成图。

图2 采集器组成图

3.处理器

定时映射与实时映射相结合，在保证关键数据实时性的同时降低计算量。边云协同，边缘测进行数据段划分、初步采样、数据变异判断，降低云端计算量。

（1）主要功能

通过映射和工程量变换计算设备参数值，通过报警规则和故障判断获得设备报警信息、故障信息，发送报警通知，定时计算设备总运行时间，总故障时间，总故障数，总报警数、总能耗等累积计算量，将数据更新到Redis和OpenTSDB中。

图3数据传输格式

（2）技术方案

定时映射与实时映射相结合，在保证关键数据实时性的同时降低计算量。边缘测进行数据段划分、初步采样、数据变异判断，降低云端计算量。

4.在线分析器

主要计算设备、项目的实时统计变量、评分及同比网比数据，按小时、日、月、年分级计算历史统计值及同比网比评分、自动生成设备、项目的报表数据、把各种计算结果更新到实时数据库和历史数据库中，方便Web应用读取

5.离线分析器

主要用于获取报表相关的分析数据、其他离线分析计算功能。

6.分布式存储

历史数据采用OpenTSDB时序数据库，按照时序规则进行数据分布式存储，保证在数据调用是能够快速响应，历史数据库采用物联网中的优秀存储架构-时序数据库，它是一种基于时间序列的数据库，时间序列函数优越的查询性能远超过关系型数据库。极简工业采用开源的OpenTSDB数据库，该数据库是基于HBase设计的，而HBase又是完美建立在Hadoop集群上的，这样对分析器中的分析工作提供了超过关系型数据库的处理能力。同时，极简工业云平台对其作了配置优化，使其能最大程度的支撑业务系统的需求。

实时产生的报警与故障日志，以及用户的下行控制日志，处理器将其写入全文检索数据库Elasticsearch，并设计了最合适的文档结构索引和分词器，能够满足业务系统对日志的查询、汇总、分析。

7.平台软件

OpenTSDB 是一个分布式、可伸缩的时间序列数据库。基于Hbase构建。它支持豪秒级数据采集所有 metrics，支持永久存储。

Redis是一个开源（BSD许可），内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。内置复制、Lua脚本、LRU收回、事务以及不同级别磁盘持久化功能，同时通过Redis Sentinel提供高可用，通过Redis Cluster提供自动分区。

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎。

Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性：

通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使以数TB的消息存储也能够保持长时间的稳定性能。

高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。

支持通过Kafka服务器和消费集群来分区消息。

支持Hadoop并行数据加载。湖南企发文化传媒有限公司时刻关注着工业互联网的发展。

工业互联网