一文告诉你为什么时序场景下 TDengine 数据订阅比 Kafka 好

在 TDengine 3.0 中，我们对流式计算、数据订阅功能都进行了再升级，帮助用户极大简化了数据架构的复杂程度，降低整体运维成本。TDengine 提供的类似消息队列产品的数据订阅、消费接口，本质上是为了帮助应用实时获取写入 TDengine 的数据，或者以事件到达顺序处理数据，与其他消息队列相比，它提供了更大的灵活性，同时有效地降低了传输的数据量与应用的复杂度。

在本篇文章中，TDengine 研发人员详细揭秘了 TDengine 数据订阅的流程和具体实现，给到有需要的人参考。此前我们还在《关于 TDengine 3.0 数据订阅，你需要知道这些》一文中汇总了部分重要的语法规则，如果你正在研究 TDengine 数据订阅功能，可以结合来看。

数据订阅的分类

TDengine 支持多种订阅类型，包括子查询结果订阅、超级表订阅以及整个数据库订阅。超级表订阅和库订阅支持参数 with meta，添加此参数后，订阅的结果将包含数据的 meta 信息，一般用于数据同步迁移。具体语法如下：

列订阅
```
CREATE TOPIC topic_name as subquery;
```

库订阅

CREATE TOPIC topic_name as database db_name [with meta];

超级表订阅

CREATE TOPIC topic_name as stable stb_name [with meta];

与 Kafka 对比

一直以来，TDengine 做产品的初衷就是简单易用，因此在做数据订阅功能时，API 全部对标的都是 Kafka。如果有人深入研究过 TDengine 的模型，就会发现它的架构模型和 Kafka 的很多设计都是相对应的，Topic 和 Kafka 相似，Vnode 跟 Kafka 中的 Partition 也很接近，子表的表名跟 Kafka 中的 Event Key 对应，因此这个架构设计天然地就带有消息队列的特点，也正是基于此，TDengine 做数据订阅功能才能如此得心应手。

TDengine 的数据订阅功能与 Kafka 相比，基本概念都是一致的，只是具体实现方式可能有所不同，实现路径如下所示：

在时序数据场景下，TDengine 降低了用户对 Kafka 的依赖，其 Vnode 可以允许不同的消费者同时消费数据，用户只需要订阅自己关注的这部分数据，比如说你只想关注电流里面超限的数据，那你使用 TDengine 进行订阅时的数据传输总量是非常小的，但用 Kafka 进行数据订阅时很可能需要从服务器拉取全部的数据，然后还要在客户端中进行数据筛选，这时两者的性能就完全不在一个量级上了。

TDengine 数据订阅关键参数说明

消费示例代码

TDengine 数据订阅的流程

Client 端的功能

提交 commit
获取 endpoint
心跳保活
消费数据

client 端在单消费线程里处理逻辑非常简单，无需对资源做并发控制。

Server 端的功能

消费分配控制（rebalance）（c1 表示 comsumer ID，g1 表示 group ID）

该功能通过 timer 控制，每 2s 检测一次是否需要 rebalance，rebalance 后，consumer 需要获取到新的 EP，才可正常消费，否则 consumer ID 将出现不匹配的情况，会重试。

消费状态控制

消费进度控制

结语

TDengine 的数据订阅、流式计算功能优势也体现在企业的具体实践上，以西门子的数字化解决方案改造项目为例，TDengine 帮助其 SIMICAS® OEM 2.0 版本移除了 Flink、Kafka 以及 Redis，大大简化了系统架构，节约了运维成本；在狮桥集团的网货平台与金融 GPS 系统数据架构改造中，部署了 TDengine 之后，直接下线了一整套的末次位置 Redis 集群、轨迹查询的 Hbase 集群也被集体下掉。如果你也面临着性能和成本难以两全的数据处理难题，亟需升级数据架构，欢迎添加小T vx：tdengine，和更专业的解决方案架构师点对点沟通。

关于 TDengine

TDengine 核心是一款高性能、集群开源、云原生的时序数据库（Time Series Database，TSDB），专为物联网、工业互联网、电力、IT 运维等场景设计并优化，具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等系统功能，能大幅减少系统设计的复杂度，降低研发和运营成本，是一个高性能、分布式的物联网、工业大数据平台。当前 TDengine 主要提供两大版本，分别是支持私有化部署的 TDengine Enterprise 以及全托管的物联网、工业互联网云服务平台 TDengine Cloud，两者在开源时序数据库 TDengine OSS 的功能基础上有更多加强，用户可根据自身业务体量和需求进行版本选择。