Hudi系列14:Hudi元数据持久化

一. 元数据持久化

元数据持久化:
每次退出flink-sql重新登录后，建表的元数据就不存在，需要重新创建。

从 Hudi 0.12.0开始支持，通过catalog可以管理flink创建的表，避免重复建表操作，另外hms模式的catalog支持自动补全hive同步参数。

二. 实操1(不使用初始化文件)

代码:

-- 创建catalog
CREATE CATALOG hive_catalog WITH (
    'type' = 'hive',
    'default-database' = 'test',
    'hive-conf-dir' = '/home/apache-hive-3.1.2-bin/conf'
);

-- 进入catalog
use catalog hive_catalog;

--- 创建数据库供hudi使用
create database hudidb;

use hudidb;

CREATE TABLE my_targetT_200(
  uuid VARCHAR(20) PRIMARY KEY NOT ENFORCED,
  name VARCHAR(10),  
  age INT,
  ts TIMESTAMP(3)
)
WITH (
  'connector' = 'hudi',
  'path' = 'hdfs://hp5:8020/tmp/hudi_data/my_targetT_200',
  'table.type' = 'MERGE_ON_READ' -- this creates a MERGE_ON_READ table, by default is COPY_ON_WRITE
);

测试记录:

退出后重新进入Flink SQL Client：
代码:

-- 创建catalog(每次都需要创建和进入目录)
CREATE CATALOG hive_catalog WITH (
    'type' = 'hive',
    'default-database' = 'test',
    'hive-conf-dir' = '/home/apache-hive-3.1.2-bin/conf'
);

-- 进入catalog
use catalog hive_catalog;

use hudidb;

show tables;

三. 实操2(使用初始化文件)

代码:

cd /home/flink-1.14.5/conf/

vim sql-client-init.sql
CREATE CATALOG hive_catalog WITH (
    'type' = 'hive',
    'default-database' = 'test',
    'hive-conf-dir' = '/home/apache-hive-3.1.2-bin/conf'
);

use catalog hive_catalog;

使用Flink SQL的时候，加载sql文件

/home/flink-1.14.5/bin/sql-client.sh embedded -s yarn-session -i $FLINK_HOME/conf/sql-client-init.sql

测试记录:
可以看到每次进入Flink的SQL已经默认进入了指定的目录。

参考:

1. https://blog.csdn.net/dkl12/article/details/127621878