4、mysql-->kafka-->mysql

本文实现mysql数据通过kafka消息队列,异步传输到mysql库表的全过程代码实现,包括kafka环境搭建,代码运行效果展示。全部使用Flink cdc最新版本实现,虽然代码精简,但确属全网最全,最完整的案例,没有之一。

一、kafka环境搭建

docker直接拉取kafka和zookeeper的镜像

docker pull wurstmeister/kafka

docker pull wurstmeister/zookeeper

首先需要启动zookeeper,如果不先启动,启动kafka没有地方注册消息。

docker run -it --name zookeeper -p 12181:2181 -d wurstmeister/zookeeper:latest

再启动kafka。

docker run -it --name kafka \

-p 19092:9092 -d -e KAFKA_BROKER_ID=0 \

-e KAFKA_ZOOKEEPER_CONNECT=localhost:12181 \

-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.3.252:19092 \

-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \

wurstmeister/kafka:latest

你可能感兴趣的:(大数据开发与实战,mysql,kafka,flink,大数据)