【使用 flink-cdc 将数据从 mysql 同时同步到 redis, elastisearch, clickhouse】

要从 MySQL 同时同步到 Redis、Elasticsearch 和 Clickhouse，可以使用 Flink CDC 和 Flink Table API 来实现。

首先，需要在 Flink 中配置 CDC 数据源，使其能够连接到 MySQL 并捕获变化的数据。然后，将捕获的数据流通过 Flink Table API 转换为流表，然后使用表 API 的 sink() 函数将数据流发送到 Redis、Elasticsearch 和 Clickhouse 中。

具体的步骤如下：

1. 配置 Flink CDC 数据源：

// 使用 Flink CDC 连接 MySQL
DebeziumSourceFunction cdcSource = MySqlSource
  .builder()
  .hostname("localhost")
  .port(3306)
  .databaseList("mydb")
  .tableList("mytable")
  .username("myuser")
  .password("mypassword")
  .deserializer(new RowDataDeserializationSchema(TableSchemaBuilder.builder().build()))
  .build();

// 将 CDC 数据源转换为 DataStream
DataStream cdcStream = env
  .addSource(cdcSource)
  .returns(cdcSource.getProducedType());

2. 利用 Table API 将 CDC 数据流转换为 Flink Table：

// 将 CDC 数据流转换为 Flink Table
Table cdcTable = tableEnv
  .fromDataStream(cdcStream, SchemaConverter.convert(cdcSource.getProducedType()));

3. 编写查询语句，将数据流发送到 Redis、Elasticsearch 和 Clickhouse 中：

// 为 Redis 配置 sink
RedisSerializationSchema> redisSchema = new RedisSerializationSchema<>(RedisCommand.SET);
{
  // 将 RowData 转换为 Tuple2
  @Override
  public String getKey(Tuple2 element) {
    return element.f0;
  }
  
  @Override
  public String getValue(Tuple2 element) {
    return element.f1;
  }
}
FlinkJedisPoolConfig jedisPoolConfig = new FlinkJedisPoolConfig.Builder()
  .setHost("localhost")
  .setPort(6379)
  .build();
cdcTable
  .select("key, value")
  .as(new TupleTypeInfo<>(BasicTypeInfo.STRING_TYPE_INFO, BasicTypeInfo.STRING_TYPE_INFO))
  .addSink(new RedisSink<>(jedisPoolConfig, redisSchema));

// 为 Elasticsearch 配置 sink
ElasticsearchSink.Builder> esSinkBuilder = new ElasticsearchSink.Builder<>("http://localhost:9200/your-index-name", new ElasticsearchSinkFunction>() {
  // 将 Tuple2 转换为 IndexRequest
  @Override
  public IndexRequest createIndexRequest(Tuple2 element) {
    Map json = new HashMap<>();
    json.put("key", element.f0);
    json.put("value", element.f1);
    return Requests.indexRequest()
      .index("your-index-name")
      .type("your-type-name")
      .source(json);
  }
});
cdcTable
  .select("key, value")
  .as(new TupleTypeInfo<>(BasicTypeInfo.STRING_TYPE_INFO, BasicTypeInfo.STRING_TYPE_INFO))
  .addSink(esSinkBuilder.build());

// 为 Clickhouse 配置 sink
ClickHouseSink> clickhouseSink = new ClickHouseSink<>("jdbc:clickhouse://localhost:8123/", "INSERT INTO your-table-name (key, value) VALUES (?, ?)", new ClickHouseStatementBuilderImpl<>(), new ClickHouseOutputFormat<>());
cdcTable
  .select("key, value")
  .as(new TupleTypeInfo<>(BasicTypeInfo.STRING_TYPE_INFO, BasicTypeInfo.STRING_TYPE_INFO))
  .addSink(clickhouseSink);

这样就实现了从 MySQL 同步数据到 Redis、Elasticsearch 和 Clickhouse 的功能。