时序数据库插入性能评测：MatrixDB是InfluxDB的78倍，TDEngine的38倍

30秒执行摘要：

• MatrixDB 在小规模、中规模和大规模场景下表现均优于其他时序数据库，多数场景有几十倍性能优势

• MatrixDB 支持ACID，确保数据不错不重不丢；InfluxDB、TDengine不能确保数据不错不重不丢

• MatrixDB 在各种规模数据写入时，内存消耗小而且平稳；InfluxDB 占用内存较多；TDengine占用内存最多

• MatrixDB 支持冷热分级存

背景

在物联网和实时数仓场景中，数据的高速写入能力至关重要，直接影响产品方案的可用性、可靠性和扩展性。以物联网为例，当面临千万甚至上亿设备、平均每个设备采集几十个到几百个指标时，每秒生成的数据将达到数十亿至数百亿。能否及时可靠的插入这种量级的数据，是评价一个物联网数据库的核心要素和第一需求。据统计，时序数据具有写多读少特征，其中95%甚至99%以上是数据写入操作，从这个意义上讲，怎么重视数据写入能力都不为过。

为了应对这种高通量数据写入需求，一些产品采用无事务或者弱事务的方式来提高写入速度，这样造成错误数据、重复数据或者丢失数据。MatrixDB通过MatrixGate组件，创新性的在保证事务严格一致性（ACID）的前提下，支持大吞吐量数据高速写入。同时，产品具有良好的线性扩展性，可以通过添加节点的方式，线性提升系统的写入速度，满足车联网、工业互联网、智能家居、智能城市等各种物联网场景的数据写入需求。

这篇博客将详细介绍在同样环境下MatrixDB、InfluxDB和TDengine三个产品的写入能力，方便用户选型。本文采用行/每秒衡量数据写入能力，有的文章使用数据点/秒，这两种方式可以互换，譬如一张表有时间列、设备ID列和5个指标列，那么插入一行数据就意味着插入5个数据点，如果一秒插入1000行，那么写入能力是每秒5000个数据点。

测试结论

根据不同的用户使用场景，我们定义了小规模、中等规模和大规模三种不同的测试用例。具体特征如下：

针对每种测试用例，分别使用三种产品各自推荐的快速加载方式取得最高值，测试结果如下（单位: 行/秒），其中小规模选择100万设备1列指标数据、中等规模选择10万设备400列指标数据、大规模选择100万设备800列指标数据：

MatrixDB与两个产品的加载速度之比分别是：

综上，在三种场景下，加载性能从高到低分别是：

MatrixDB > TDengine > InfluxDB

值得一提的是，三个产品的事务支持是不一样的，MatrixDB在单节点和集群多节点都支持完整严格的事务，包括原子性（A）、一致性（C）、隔离性（I）和持久性（D），InfluxDB和TDengine不支持事务。测试时，也注意到不同产品内存消耗不同，MatrixDB内存占用较小较平稳，InfluxDB内存占用较多，TDenginie内存消耗最多并且与设备数正相关，例如在500万设备时，内存占用会超过80G。

测试环境和产品信息

MatrixDB、InfluxDB、TDengine均采用单机部署。机器配置如下：

01 机器配置

02 软件版本

03 参数调整

数据生成

数据通过 tsbs_generate_data 工具生成。tsbs_generate_data 是开源时序数据测评基准 tsbs 中的数据生成工具。MatrixDB团队扩充了该工具以支持大规模设备场景，通过参数--use-case="massiveiot" 来使用。

可以在 百度网盘https://pan.baidu.com/s/1BFYcQR3DzqVLiy8ymXu9eg （提取码：8cba）下载该工具。

tsbs_generate_data 命令常用参数说明如下：

详细的数据生成方法和命令，请参考文末链接：时序数据库加载性能测试过程

01 小规模文件大小  

02 中等规模文件大小

03 大规模文件大小 

如果全量生成的话，估算数据容量如下：

由于InfluxDB/TDEngine在列数超过100列时较慢，为避免写入时间过长，测试中采取限定时间范围方法：

限定时间范围后，实际数据大小如下：

数据写入

每种产品使用的写入方式如下：

01 小规模数据写入对比

值越大代表写入性能越好

MatrixDB与InfluxDB写入速度对比

MatrixDB写入速度最高是InfluxDB的11.6倍！

MatrixDB与TDengine写入速度对比

MatrixDB写入速度最高是TDengine的2倍！

02 中等规模数据写入性能数据

值越大代表写入性能越好

MatrixDB与InfluxDB写入速度对比

MatrixDB 写入速度最高是InfluxDB的73.8倍

备注

如果InfluxDB全量写入，按400列的2268.06行每秒的写入速度计算，14.4亿行，需要费时1058分钟，而MatrixDB 只需要14分钟，相比之下InfluxDB写入速度太慢。故InfluxDB 10列、50列，只写入1千万行，InfluxDB 100列，只写入100万行，400列，只写入10万行。

MatrixDB与TDengine写入速度对比

MatrixDB的写入速度最高是TDengine的28.6倍！

备注

按TDengine 100列全量写入需要262分钟计算，400列估算需要1050分钟。而MatrixDB 最快仅需要14分钟。10万设备数400列，相比之下写入速度太慢、费时太久，故设置1000个设备，然后推导出10万设备所需时间。

                                     

03 大规模数据写入性能数据

值越大代表写入性能越好

MatrixDB与InfluxDB写入对比

MatrixDB写入csv的速度最高是InfluxDB的84.8倍！

备注

如果InfluxDB全量写入，按10万设备量400列2268.06行每秒的写入速度计算，14.4亿行，需要费时1058分钟，100万设备量估算需要花费10580分钟，耗时太久。为避免InfluxDB写入费时太长，InfluxDB 100万设备数、100列和200列，只写入100万行，400、800列只写入10万行，然后同比推导出结果数据。

MatrixDB与TDengine写入速度对比

MatrixDB的写入速度最高是TDengine的38.7倍！

备注

TDengine按10万设备数、100列全量写入需要262分钟计算，400列估算需要1050分钟，而MatrixDB 400列最快仅需要14分钟，100万设备数，相比之下写入速度太慢、避免写入费时太久，故TDengine 100、200、400、800列，设置的是1000个设备，然后同比推导出结果数据。

附 录

1. 时序数据库加载性能测试过程：https://ymatrix.cn/blog/load-test-steps

2. 数据生成及加载工具下载链接：https://pan.baidu.com/s/1BFYcQR3DzqVLiy8ymXu9eg（提取码：8cba）

3. MatrixGate原理介绍：https://ymatrix.cn/doc/reference/mxgate.html

欲了解更多超融合时序数据库相关信息，烦请访问yMatrix官方网站：https://www.ymatrix.cn