【金猿技术展】一种时序数据的高效存储方法——分别存储每个数据采样器采集的时序数据及其静态属性数据...

‍

TDengine技术

该技术由TDengine投递并参与“数据猿年度金猿策划活动——2023大数据产业年度创新技术突破榜单及奖项”评选。

大数据产业创新服务媒体

——聚焦数据 · 改变商业

---

在进行海量时序数据存储方面，传统的大数据处理方案并不是专门针对时序数据处理特点进行设计的，因此存储空间占用非常大，随着业务的扩张，存储成本也会不断增加。在这种背景下，TDengine 决定研发一种更加高效的存储方法，此方法专为时序数据的处理场景设计并优化，它能够高效地存储和管理海量时序数据。通过优化存储结构和算法，TDengine 能够显著降低存储空间占用，并且能够在海量数据的情况下保持出色的性能。这也使得 TDengine 成为处理海量时序数据的理想选择，能够帮助企业降低存储成本并提升数据处理效率。

技术说明

本发明公开了一种高效的时序数据存储方法，包括：分别存储每个数据采样器采集的时序数据及其静态属性数据；在存储每个时间序列时，根据每个时间序列的唯一ID，存储对应的时间序列数据；在存储静态属性数据时，将静态属性数据独立存储在另一个数据库中，每个数据采样器在存储静态属性数据的数据库中保存一条对应的记录。本发明可以节省存储空间，提高处理效率和处理速度，帮助用户灵活地进行查询处理。

★专利申请号/公开号：US 11,829,377 B2

开发团队

·带队负责人姓名：陶建辉

陶建辉， TDengine 的创始人与核心开发 。1994 年到美国留学，1997 年起，先后在芝加哥 Motorola、3Com 等公司从事无线互联网的研发工作。2008 年初回到北京创办和信，后被联发科收购。2013 年初创办快乐妈咪，后被太平洋网络收购。2017 年 5 月创办涛思数据，专注物联网大数据的处理，产品 TDengine 开源后，在 GitHub 全球趋势排行榜上多日排名第一。涛思数据已获红杉、GGV、经纬、明势资本等多家机构的近 7000 万美元的投资。

团队其他重要成员姓名：程洪泽、关胜亮、廖浩均。

·隶属机构：TDengine

北京涛思数据科技有限公司( TAOS Data ) 瞄准日益增长的物联网数据市场，专注时序空间大数据的存储、查询、分析和计算，不依赖任何开源或第三方软件，开发了拥有自主知识产权、100% 自主可控的高性能、分布式的物联网、工业大数据平台 TDengine，核心模块是高性能、集群开源、云原生、极简的时序数据库，可广泛运用于物联网、车联网、工业互联网、IT运维等领域。公司已经申请多项技术发明专利，且全部提交 PCT 专利申请。

相关评价

在中移物联网的智慧出行场景中，需要存储车联网设备的轨迹点，还要支持对车辆轨迹进行查询。为了更好地进行数据处理，我们在 2021 年上线了 TDengine 2.0 版本的 5 节点 3 副本集群。3.0 发布后，它的众多特性吸引着中移物联网进行了大版本升级。目前中移物联共创建有 102 万张子表，已经累积的总数据量已经达到了 2000 亿行，3 副本，磁盘占用 3.1TB，在迁移到 TDengine 3.0 之后，各方面的表现如下：业务的写入峰值达到了 1.2-1.3w 行/s ，数据迁移的过程中可以达到 20w 行/s，这些情况下 TDengine 都可以轻松处理；存储大约只有 MySQL 的 1/7；读取数据性能也很突出，我们最常用的单设备单日查询，可以在 0.1s 内返回结果。

——中移物联网有限公司
数据库运维高级工程师 薛超

为了给用户提供更好的补能体验，蔚来能源在加电基础设施上进行了大量的投入，需要对设备进行更高效的管理，业务诞生之初其用作数据存储的选型是 MySQL + HBase，MySQL 存储设备最新实时数据，HBase 存储设备原始数据。随着换电站和超充站等设备在全国的快速布局，设备数量持续增长，积累的数据量越来越多，长时间跨度数据查询效率出现瓶颈，再加上查询场景不断丰富，HBase 已经无法满足当前业务需要。接入 TDengine 改造完成后，查询速度提升明显，从使用 HBase 查询单设备 24 小时数据的秒级返回，到使用 TDengine 查询查询相同数据的毫秒级返回；每天增量数据占用的存储空间相当于原来使用 HBase 时的 50%；集群计算资源成本相比使用 HBase 节省超过 60%。

——蔚来汽车
能源数字化产品开发部高级工程师 李鹏飞

提示：了解更多相关内容，点击文末左下角“阅读原文”链接可直达该机构官网。