利用spark基于parquet或者orc文件直接建hive表

如何快速的基于一个parquet文件进行建表？

首先对于spark要SparkSession.enableHiveSupport()

var df = spark.read.parquet("mypath/*.parquet");
df.write.mode(SaveMode.Overwrite).saveAsTable("mytable")

mytable可以加数据库名，如db.xxtable这种

orc文件类似

ps:如果想建外部表，直接option("path",mypath)即可

demo:

spark.read.parquet("oldpath").withColumn("day",lit("2019-08-28")).write.mode("overwrite").partitionBy("day").options(Map("path"-> "new path")).saveAsTable("mytable")