SparkSQL学习- InsertIntoHiveTable类

InsertIntoHiveTable可以理解为SparkSQL物理执行计划的一个操作符，将数据价值到Hive表。它包含有

• Configuration对象
• Hive表路径
• HiveSessionState对象

主要逻辑在sideEffectResult方法，包括校验和设置参数，调用sc.runJob，清理临时文件，刷新Hive表元数据。具体如下

构造FileSinkDec对象，写入文件压缩参数

1. mapred.output.compress
2. mapred.output.compression.codec
3. mapred.out.put.compression.type

校验动态分区配置是否与SQL匹配，若有以下情况之一，抛出SparkException异常

• SQL语句包含动态分区声明，hive.exec.dynamic.partition != true
• hive.exec.dynamic.partition = true, hive.exec.dynamic.partition.mode = strict
• SQL语句动态分区声明后，又有静态分区声明

若SQL为动态分区，构造SparkHiveDynamicPartitionWriterContainer; 静态分区则构造SparkHiveWriterContainer。

调用saveAsHiveFile方法，传入序列化后的writerContainer。saveAsHiveFile调用SparkContext.runJob方法提交Job。

此时，数据是写入Hive表路径下临时文件，Spark Job完成后。调用HiveClientImpl将临时文件加载到Hive表-产生真正的数据文件。

删除临时文件

刷新SparkContext中catalog对象中该表的元数据。