Flink、Spark、Hive集成Hudi

环境描述:

hudi版本:0.13.1

flink版本:flink-1.15.2

spark版本:3.3.2

Hive版本:3.1.3

Hadoop版本:3.3.4

一.Flink集成Hive

1.拷贝hadoop包到Flink lib目录

hadoop-client-api-3.3.4.jar

hadoop-client-runtime-3.3.4.jar

2.下载上传flink-hive的jar包

flink-connector-hive_2.12-1.15.2.jar

flink-sql-connector-hive-3.1.3_2.12-1.15.2.jar

Flink、Spark、Hive集成Hudi_第1张图片

 3.复制hive-site.xml到flink conf下

方式一:复制

方式二(推荐):创建软连接

ln

你可能感兴趣的:(大数据组件安装部署教程,大数据问题处理,flink,spark,hive,hudi,flink集成hudi,hive集成hudi,spark集成hudi)