Spark创建Hive表

前言

实习生带着一脸坚毅的神情，斩钉截铁的告诉我：
Spark有bug，用Sparksql创建一个简单的外部表都报错：

create external table must be accompanied by location

我：你怎么创建的？
实习生：就下面一个简单的sql语句啊

spark.sql("""
CREATE EXTERNAL TABLE if not exists tb(
id int,
name string
) PARTITIONED BY (dt string)
STORED AS PARQUET
""")

我：你需要对Spark和Hive的基础知识进行巩固。

内部表和外部表的区别

它两主要区别在于LOAD和DROP这两个命令语义上：

• 内表使用load命令会把数据移到自己仓库目录下

• 外表使用load命令会把数据移到自己仓库以外的位置

• 内表使用drop命令会把元数据和数据一起删除（这也就是为什么内表也叫托管表）

• 外表使用load命令只会删除元数据

内部表和外部表的使用场景

内部表和外部表的差别其实真的很小很小。尽管如此，好的软件设计的一般原则的表达意图。

（1）内部表的使用场景

• 所有处理都由hive完成

（2）外部表