spark增量抽取MySQL中的数据存入hive动态分区表

hive中现有的数据(分区字段是时间event_time)

spark增量抽取MySQL中的数据存入hive动态分区表_第1张图片

MySQL库中增量抽取的数据 (部分展示)

spark增量抽取MySQL中的数据存入hive动态分区表_第2张图片 

 创建Sparksession对象

    val spark: SparkSession = SparkSession
      .builder()
      .appName("H_work_fullTostatic")
      .master("local[*]")
      .config("hive.metastore.uris", "thrift://hadoop106:9083")
      

你可能感兴趣的:(hive,mysql,spark,大数据,scala)