SparkSQL抽取Mysql全量数据到Hive动态分区表中

部分概念内容:hive学习(七)------创建动态分区_BigDate_小学生的博客-CSDN博客

进阶篇:spark增量抽取MySQL中的数据存入hive动态分区表(2)_月亮给我抄代码的博客-CSDN博客

前言:我这里把hive-site.xml文件放在了resource目录中,相关配置及依赖在后面。

不要用中文值作为静态分区或动态分区字段!!!

package my_project

import org.apache.spark.sql.SparkSession

object my_work02 {
  def main(args: Array[String]): Unit = {

    //TODO 动态分区表demo

    val spark: SparkSession = SparkSession
      .builder()
      .appName("my_work01")
      .master("local[*]")
      .enableHiveSupport()
      .getOrCreate()

    //读取MySQL数据,创建临时表
    

你可能感兴趣的:(hive,mysql,spark,scala,大数据)