Flink SQL整合Hive

Flink SQL整合Hive

1、将整合需要的jar上传到flink的lib目录

flink-sql-connector-hive-1.2.2_2.11-1.11.0.jar
hive-exec-1.2.1.jar
hive-metastore-1.2.1.jar

上传jar 之后需要重新启动yarn-session.sh

yarn application -kill appid

yarn-session.sh -jm 1024m -tm 1024m

2、启动hive元数据服务

hive --service metastore

3、修改SQL客户端配置文件

如果需要在sql-client中使用hive的catalog则修改

使用代码不需要修改该配置

cd /usr/local/soft/flink-1.11.2/conf
vim sql-client-defaults.yaml
# 找到对应位置加入以下配置
catalogs: 
  - name: myhive
    type: hive
    hive-conf-dir: /usr/local/soft/hive-1.2.1/conf
    default-database: default

4、在SQL客户端中使用hive的catalog

sql-client.sh embedded
# 查看有哪些catalog可以使用
show catalogs;
# 切换元数据
USE catalog myhive;

注意：

1.在flink中创建的表在hive中可以查看，但不能查询数据，hive中的表在flink中可以查询

2.SQL客户端不能开启checkpoint 只能用于测试，在代码中写sql可以在前面开启checkpoint实现容错