零距离接触阿里云时序时空数据库TSDB

概述

最近，Amazon新推出了完全托管的时间序列数据库Timestream，可见，各大厂商对未来时间序列数据库的重视与日俱增。
阿里云TSDB是阿里巴巴集团数据库事业部研发的一款高性能分布式时序时空数据库，在即将过去的2018年，我们对TSDB进行了多次的系统架构改进，引入了倒排索引、无限时间线支持、时序数据高压缩比算法、内存缓存、数据预处理、分布式并行聚合、GPU加速等多项核心技术，并且引入了新的计算引擎层和分布式SQL层，使得引擎核心能力有了质的提升，也基本上统一了集团内部的监控存储业务。2018年双11当天，TSDB稳定运行，0故障，支撑双十一核心业务系统，毫秒级采集能力，具备双十一峰值写入不降级，创造了集群TPS 4000万、QPS 2万的新纪录。同时，面向IOT赛道，推出了时空数据库和边缘计算版本，还会引入面向时序时空场景的智能引擎，未来我们的目标是把TSDB打造成一款业内领先的“智联网数据库”。

2018双十一数据

首先，我们来看一下TSDB在2018年双十一的答卷：TSDB承受了4000万/秒的峰值写入，2万/秒的峰值查询，与2017年双十一相比均翻倍增长；而写入均值也达到了2600万/秒，查询均值达到了8000次/秒。

 

 

场景

下面几页Slide是我们在外部的一些场景和客户案例：

 

 

 

核心技术解析

为了更好的支持业务的需求，今年我们在核心引擎层面做了非常多的优化和改进，我们还引入了新的计算引擎层，分布式SQL引擎，时空引擎以及面向IoT市场的边缘计算版本，极大的提高了TSDB的计算能力和场景。下图就是TSDB的主要架构图，接下来的篇章我会分时序引擎，计算引擎，SQL引擎，时空引擎，边缘计算这5大部分来详细的介绍我们的核心技术能力。

一、时序引擎

问题挑战

稳定性、流量翻倍、不降级、低延迟、无限时间线

1. 复杂时间线索引、无限制时间线支持:

问题

为了支持多维查询和聚合查询，TSDB使用了倒排索引以快速定位到某条时间线。在TSDB现有的实现里，倒排索引是全部存放在内存中的。该方案的好处是根据某个Tag或者Metric查找时间线时会非常高效，但是缺点也非常明显：受限于内存大小，TSDB无法支持大规模的时间线。随着TSDB的客户越来越多，这个问题也越来越突出：某直播业务要求TSDB能够支撑20亿时间线的规模；某监控业务虽然初始时间线只有上千万，但是每天会新增几十万条时间线，而且时间线规模没有上限。

方案

TSDB在之前全内存倒排索引的基础上，将倒排索引持久化到硬盘，赋予了TSDB支撑无限时间线的能力。同时，通过给予倒排索引时间的概念，我们将查询的时间过滤算子下推到了索引查询阶段，进一步优化了查询性能。而通过创建时间线索引的BloomFilter，TSDB保证了海量时间线规模下的低延迟索引查询。

 

效果

拿集团内业务举例，原来64G内存的机器只能支持到不到500万的时间线，采用了上面的技术方案后，64G内存的机器就可以支持业务将近7000万以上的时间线，而且时间线数量在原有机器的基础上还可以继续增加。