Flink实时数仓项目—业务数据采集

Flink实时数仓项目—业务数据采集

  • 前言
  • 一、采集工具选型
  • 二、Flink-CDC学习
  • 三、MySQL数据准备
    • 1.binlog的配置
    • 2.模拟生成数据
  • 四、业务数据采集模块
    • 1.配置文件
    • 2.代码实现


前言

前面完成了日志数据的采集,下面进行业务数据的采集。


一、采集工具选型

实时数仓相关采集工具的选型在这篇文章中有提到:Flink实时数仓各种CDC对比

二、Flink-CDC学习

业务数据采集选取了Flink-CDC,Flink-CDC的学习及使用在这里:Flink-CDC 2.0学习及使用

三、MySQL数据准备

前提条件:业务数据存放在MySQL中

你可能感兴趣的:(大数据项目,实时数仓,大数据,数据仓库,flink)