Flink SQL 结合 HiveCatalog 使用

Flink 支持 HiveCatalog 作为表元数据持久化的介质，在生产环境我们一般采用 HiveCatalog 来管理元数据, 这样的好处是不需要重复使用 DDL 创建表,只需要关心业务逻辑的 SQL,简化了开发的流程,可以节省很多时间,下面就来介绍一下怎么配置和使用 HiveCatalog.

sql-client-defaults.yaml 配置

catalogs:
   - name: myhive
     type: hive
     hive-conf-dir: /home/jason/bigdata/hive/hive-2.3.4
     default-database: mydatabase

添加依赖

-rw-r--r--. 1 root root     42998 Jul 22  2020 flink-connector-filesystem_2.11-1.11.1.jar
-rw-r--r--. 1 root root    196416 Dec 11 17:51 flink-connector-jdbc_2.11-1.12.0.jar
-rw-r--r--. 1 root root     91553 Dec  2 17:46 flink-csv-1.12.0.jar
-rw-r--r--. 1 root root 114120165 Dec  2 17:50 flink-dist_2.11-1.12.0.jar
-rw-r--r--. 1 root root    136663 Dec  2 17:46 flink-json-1.12.0.jar
-rw-r--r--. 1 root root  43317025 Dec 11 12:44 flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
-rw-r--r--. 1 root root   7709741 Sep 30 01:49 flink-shaded-zookeeper-3.4.14.jar
-rw-r--r--. 1 root root   3309441 Dec 12 15:35 flink-sql-avro-1.12.0.jar
-rw-r--r--. 1 root root  40650306 Dec 19 12:42 flink-sql-connector-hive-2.3.6_2.11-1.12.0.jar
-rw-r--r--. 1 root root   3650212 Dec 11 14:44 flink-sql-connector-kafka_2.11-1.12.0.jar
-rw-r--r--. 1 root root   2124047 Dec 12 15:35 flink-sql-orc_2.11-1.12.0.jar
-rw-r--r--. 1 root root   5666201 Dec 12 15:35 flink-sql-parquet_2.11-1.12.0.jar
-rw-r--r--. 1 root root  36147819 Dec  2 17:49 flink-table_2.11-1.12.0.jar
-rw-r--r--. 1 root root  40286358 Dec  2 17:49 flink-table-blink_2.11-1.12.0.jar
-rw-r--r--. 1 root root  34214106 Dec 19 19:18 hive-exec-2.3.4.jar
-rw-r--r--. 1 root root     67114 Feb 22  2020 log4j-1.2-api-2.12.1.jar
-rw-r--r--. 1 root root    276771 Feb 22  2020 log4j-api-2.12.1.jar
-rw-r--r--. 1 root root   1674433 Feb 22  2020 log4j-core-2.12.1.jar
-rw-r--r--. 1 root root     23518 Feb 22  2020 log4j-slf4j-impl-2.12.1.jar
-rw-r--r--. 1 root root   1007502 Dec 11 17:50 mysql-connector-java-5.1.47.jar

代码里面使用 HiveCatalog

package flink.ddl

import java.time.ZoneOffset._
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.table.api.EnvironmentSettings.newInstance
import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment.create
import org.apache.flink.table.catalog.hive.HiveCatalog
import org.apache.flink.table.module.hive.HiveModule
import org.apache.hadoop.hive.ql.exec.UDF
import org.apache.hadoop.io.Text

/**
 * Flink SQL 使用 hive catalog
 */
object FlinkDDLHiveCatalog {

    private val catalog_name = "myhive"
    private val hive_version = "2.3.4"

    def main(args: Array[String]): Unit = {
        val env = StreamExecutionEnvironment.getExecutionEnvironment

        val settings = newInstance()
                .useBlinkPlanner()
                .inStreamingMode()
                .build()

        val tEnv = create(env, settings)
        tEnv.getConfig.setLocalTimeZone(ofHours(8))

        // 设置 early fired
        tEnv.getConfig().getConfiguration().setBoolean("table.exec.emit.early-fire.enabled", true)
        tEnv.getConfig().getConfiguration().setString("table.exec.emit.early-fire.delay", "5000 ms")

        // 设置 job name
        tEnv.getConfig.getConfiguration.setString("pipeline.name",this.getClass.getSimpleName.replace("$",""))

        val catalog = new HiveCatalog(
            catalog_name,                   // catalog name
            "mydatabase",                // default database
            "/home/jason/bigdata/hive/hive-2.3.4",  // Hive config (hive-site.xml) directory
            hive_version                   // Hive version
        )

        // 注册 catalog
        tEnv.registerCatalog("myhive", catalog)
        // 选择一个 catalog
        tEnv.useCatalog("myhive")
        // 选择 database
        tEnv.useDatabase("mydatabase")
        // 加载 hive 的内置函数
        tEnv.loadModule(catalog_name,new HiveModule(hive_version))

        // kafka_source_jason 和 print_table 提前已经创建好可以直接使用
        tEnv.executeSql(
            """
              |insert into print_table
              |select
              |lower(funcName),
              |MIN(`timestamp`) as min_timestamp,
              |FIRST_VALUE(`timestamp`) as first_timestamp,
              |MAX(`timestamp`) as max_timestamp
              |from kafka_source_jason
              |group by funcName
              |""".stripMargin)
    }
}

因为 kafka_source_jason 和 print_table 这两张表提前已经创建过了,已经保存在 HiveCatalog 里面,所以代码里面可以直接使用不用再次创建.

提交任务

在启动任务之前,需要先把 Hiv e的 metastore 起起来,因为 HiveCatalog 会和 metastore 连接这样才能访问元数据信息.

hive --service metastore &

flink run -d -m yarn-cluster \
-c flink.ddl.FlinkDDLHiveCatalog \
-yqu flink \
-nm FlinkDDLHiveCatalog \
-p 6 \
/home/jason/bigdata/jar/flink-1.11.1-1.0-SNAPSHOT.jar 

打印结果

上面的代码还加载了 hive 的内置函数, Flink SQL 里面可以直接使用 hive 的内置函数, SQL 中的 lower 就是 hive 的函数可以直接拿来使用,这样就会非常的方便.

推荐阅读

Flink SQL 解析嵌套的 JSON 如此简单

JasonLee，公众号：JasonLee的博客Flink SQL 解析嵌套的 JSON 数据