Kafka实时数据同步

目录

1 概述

2 捕获Oracle数据到Kafka

2.1 数据捕获设置

2.2 数据发布设置

2.3 捕获到发布数据流映射

2.4 查看任务执行日志

3 订阅Kafka数据到ClickHouse

3.1 数据订阅设置

3.2 数据加载设置

3.3 订阅到加载数据流映射

3.4 查看任务执行日志

 4 校验数据一致性


1 概述

BeeDI支持实时捕获业务系统变化数据并将其发步到Kafka,也支持从Kafka订阅实时数据并写入数仓或大数据平台。

BeeDI支持Oracle、DB2、SQL Server、MySQL、达梦等交易数据库实时数据捕获(日志解析),支持SAP Hana、GreenPlum、ClickHouse、Hbase、Hive等分析数据库批量数据写入。

2 捕获Oracle数据到Kafka

2.1 数据捕获设置

Kafka实时数据同步_第1张图片

2.2 数据发布设置

Kafka实时数据同步_第2张图片

2.3 捕获到发布数据流映射

Kafka实时数据同步_第3张图片

2.4 查看任务执行日志

Kafka实时数据同步_第4张图片

3 订阅Kafka数据到ClickHouse

3.1 数据订阅设置

Kafka实时数据同步_第5张图片

3.2 数据加载设置

   Kafka实时数据同步_第6张图片   

3.3 订阅到加载数据流映射

Kafka实时数据同步_第7张图片

3.4 查看任务执行日志

Kafka实时数据同步_第8张图片

 4 校验数据一致性

Kafka实时数据同步_第9张图片

 

你可能感兴趣的:(kafka,大数据,数据库,clickhouse)