【零代码】6步轻松完成 Kafka 实时数据接入 MatrixDB

功能背景

当前行业内普遍将 Kafka 作为实时提取和处理流数据的工具。同时，习惯将数据整理为 JSON 格式存入 Kafka 中。然而，如果将 Kafka 中的数据接入到数据库中，则需要自己手动编程实现。

因此，MatrixDB 4.4 管理平台对 Kafka 数据接入流程做了全面优化。支持自定义 Kafka 中 JSON / CSV 格式的数据和目标表字段之间的映射关系，借助 JSONPath 的方式将数据高效、灵活地接入到 MatrixDB；从而实现数据零代码、3分钟入库，让非专业人士玩转数据管道。

功能说明

流程概览

Kafka 数据接入到 MatrixDB 的基本步骤概括如下：

1. 连接数据源

2. 选择数据将要导入的目标表

3. 配置源数据字段与目标表字段之间的映射

对应 MatrixDB 管理平台中具体的操作为：“连接”、“选择”、“解析”、“配置”、“映射”和“提交”6个步骤。

步骤说明

登入 MatrixDB 管理平台后，点击左侧导航栏中的“数据流”，进入数据流页面，点击“下一步”按钮开始数据接入流程。

示意图为首次添加数据流页面

1. 连接

在“设置数据源”输入框中按提示输入可连接的 Kafka broker 信息。点击“下一步”，若该 Kafka broker 连接成功，自动进入“选择”步骤。

2. 选择

此处，我们需要选择主题、示例数据以及数据的格式。

a.选择主题

• 点击选择一个主题 （Topic），若主题中存在数据，则会在下方输入框中展示该主题中的前10条数据。

• 则可以在输入框中编辑一条数据（注意该条数据的结构应尽量和将要存入该主题中的数据结构保持一致）。

b.点击选择一条数据作为模版，用于定义该主题中数据的映射规则。

c.选择格式。需确保数据源格式与所选格式一致。

需要注意的是，若所选主题的数据为 CSV 格式，平台会自动解析出所选数据的分隔符，此时，我们需要确认解析出的“分隔符”是否正确。

d.点击“下一步”，进入“解析”步骤。

3. 解析

平台会自动将已选中的数据解析后展示；若需修改源数据，点击左侧源数据内容区域即可进行修改。

点击“下一步”进入“配置”步骤。

4. 配置

配置导入的目标数据库、模式以及表。点击“下一步”进入“映射”步骤。

5. 映射

a.选择“源数据”中的目标字段

b.选择“目标表”中的映射字段

c.“映射规则”中自动展示所选的内容，JSONPath 可根据实际情况进行修改，平台会根据设置的 JSONPath 自动解析出输出值
 

操作提示：

• 从“源数据”和“目标表”中选择目标字段后，均需点击“保存”确认该字段的映射关系

• 在选择“源数据”目标字段后，鼠标滑过“目标表”的字段时，底色为蓝色说明两个字段的类型是可匹配的。

若字段底色为黄色，即提示可能存在字段类型不匹配的风险，该提示不妨碍保存操作。

• 若为目标表中的自增类型字段建立了映射关系，其数据的唯一性系统将无法保证，页面会做出相应提示

6. 提交

在正式提交设置好的映射规则之前，可再次确认前序步骤的全部设置信息；若存在错误信息，可返回再次修改；若不存在问题，点击“提交”即会生成一条该 broker 到 MatrixDB 的数据流。

成功创建数据流后，点击“返回”，进入“数据流”列表页。

在“数据流”页即可查看已新增的数据流。

通过以上6个步骤的演示，可以看到不需要写一行代码就能建立 Kafka 到 MatrixDB 的数据管道，使 Kafka 中的实时数据安全可靠的存储到MatrixDB。如此轻松便捷的功能，不容错过！

原文链接

本文为 yMatrix 原创内容，未经允许不得转载。

欲了解更多超融合时序数据库相关信息，请访问 “yMatrix” 官方网站