Flink-SQL实现kafka处理后写入kafka

基本信息

kafka版本   1.13.2
topic 
      原始数据topic    user_behavior 
      输出数据topic    after_binlog

读取kafka原始数据

CREATE TABLE user_behavior (
    id BIGINT,
    name STRING,
    flag STRING
) WITH (
    'connector.type' = 'kafka',  -- 使用 kafka connector
    'connector.version' = 'universal',  -- kafka 版本,universal 支持 0.11 以上的版本
    'connector.topic' = 'binlog',  -- kafka topic
    'connector.startup-mode' = 'earliest-offset',  -- 从起始 offset 开始读取
    'connector.properties.zookeeper.connect' = 'vm61:2181',  -- zookeeper 地址
    'connector.properties.bootstrap.servers' = 'vm61:9092',  -- kafka broker 地址
    'format.type' = 'json'  -- 数据源格式为 json
);

创建聚合数据及输出kafka信息

CREATE TABLE after_user_behavior (
  name STRING,
  pv BIGINT,
  PRIMARY KEY (name) NOT ENFORCED
) WIT

你可能感兴趣的:(hadoop,flink,kafka,flink,sql)