Spark系列之:使用spark合并hive数据库多个分区的数据到一个分区中

Spark系列之:使用spark合并hive数据库多个分区的数据到一个分区中

  • 把两个分区的数据合并到同一个分区下
  • 把其中一个分区的数据通过append方式添加到另一个分区即可
%spark
val df = spark.sql("select * from optics_prod.product_1h_a where datetime='2023111423'")
    .repartition(10)
    .write.mode("append")
    .parquet("/optics-prod/dwh/ods/optics/product_1h_a/datetime=2023112223")

你可能感兴趣的:(大数据,Spark系列,合并hive数据库,多个分区的数据到一个分区中)