Apache loTDB技术与架构-1

1 前言

Apache loTDB是一款应用于工业物联网领域的时序数据库，其创立于中华人民共和国清华大学软件学院，loTDB使用列式存储、数据编码、预计算以及索引技术提供大规模的、基于时序的数据存储服务与数据管理服务，loTDB也提供类SQL的接口支持每节点每秒写入的数据点可达到数百万级别、支持从TB级别的数据点中查询数据的耗时只需要几秒，loTDB提供能力轻易地支持与Apache Hadoop MapReduce、Apache Spark的集成并用于数据分析领域。

1.1   架构描述

Apache loTDB存储引擎的核心组件提供的一系列服务包括数据采集、数据写入、数据存储、数据查询、数据可视化以及数据分析，这些核心组件以及组件提供的服务构成loTDB的总体应用架构，loTDB的总体应用架构如下所示：

从以上的总体应用架构可知，用户可以使用JDBC协议直接连接本地或者远程的loTDB存储引擎导入来自传感器设备的时序数据。按照数据来源的分类，时序数据可以包括系统状态数据（例如服务器上软件或硬件的运行信息）、消息队列数据、应用层的时序数据、数据库中的时序数据，用户也可以直接写入时序数据到本地文件系统的tsFile或者HDFS的tsFile。

loTDB存储引擎的数据文件tsFile可以存储在HDFS中，因此，用户可以使用Hadoop的MapReduce以及Spark的计算技术对HDFS中的tsFile数据文件执行机器学习、预测分析、数据分析。

用户可以使用TsFile-Hadoop-Connector、TsFile-Spark-Connector连接器连接本地tsFile或者HDFS中的tsFile执行数据加载、数据计算与分析。

用户可以使用loTDB提供的不同客户端工具写入数据或者以SQL形式、脚本形式、图形式查询数据。

下表描述loTDB总体应用架构的不同组件提供的功能：

Database Engine loTDB数据库存储引擎结构

loTDB-CLI是客户端命令工具，提供用户与数据库服务器之间的命令行交互的控制台

Grafana-connector是数据可视化管理平台

Session会话管理组件，用户登录会话相关的授权与鉴权

loTDB-Server是时序数据库的服务器端，提供数据存储与数据管理的核心服务

Time Series Data File 时序数据文件结构

File Layer是数据文件层，提供时序数据的存储服务

TsFile是数据文件，存储时序数据的文件，提供时序数据的组织存储

TsFile-API是对数据文件的服务接口，提供时序数据的操作服务

TsFile（Optimized  File Format）提供文件格式的优化，改善时序数据操作的性能

TsFile-Load/Remove提供数据文件的加载与删除服务

Analysis Engine 时序数据分析引擎结构

Flink/Spark/Hive(Open Source & Big  Data Platform)大数据平台，提供大规模的数据存储服务与数据处理服务

I/E Tool(Batch Load & Export)数据导入导出工具，提供数据输入与数据输出

Flink Connector流式计算框架Flink的数据连接器，提供Flink与loTDB之间的数据交互

Spark Connector大规模数据分析框架Spark的数据连接器，提供Spark与loTDB之间的数据交互

Hive Connector大规模数据仓库集成框架Hive的数据连接器，提供Hive与loTDB之间的数据交互

Outliner Detection数据检测组件

Machine Learning机器学习组件

Data Analysis数据分析组件

(未完待续)