Spark读写Hive

环境：CDH5.8，Spark：1.6.0；Hadoop：2.6.0，Intellij IDEA14 ，jdk1.8，sdk：2.10.6 ，maven：3.3.3；

工程下载地址：https://github.com/fansy1990/spark_hive_source_destination

1. Spark读取Hive

Spark读取Hive，使用的是HiveContext，第一步使用sc生成一个HiveContext，然后其他操作就是在HiveContext里面操作了；

比如使用HiveContext的tables()方法，那么就可以得到Hive中所有表的相关信息，使用工程中的hiveinout.SparkReadHive的测试类，在终端中运行：

spark-submit --class hiveinout.SparkReadHive --master yarn --deploy-mode cluster --jars /usr/lib/hive/lib/datanucleus-core-3.2.10.jar --files /usr/lib/hive/conf/hive-site.xml spark_hive-1.0-SNAPSHOT.jar

其中，使用的是Spark On YARN的方式来运行，这里还需要指定第三方jar，也就是datanucleus相关jar以及hive-site.xml文件，这个是根据Spark官网提供的提示，如下：

运行后，可以在8088端口查看相关输出，如下：

而在Hive里面查看，也可以看到这几个表：

2. Spark写入Hive

Spark写入Hive直接使用HiveContext的sql函数执行一个sql语句，直接传入的就是一个sql语句，具体代码参考hiveinout.SparkWriteHive代码，执行参考：

 spark-submit --class hiveinout.SparkWriteHive --master yarn --deploy-mode cluster --jars /usr/lib/hive/lib/datanucleus-core-3.2.10.jar --files /usr/lib/hive/conf/hive-site.xml spark_hive-1.0-SNAPSHOT.jar "create table tmp2 as select product_id,product_name from products"

执行后，得到tmp2表，其结果和tmp1的结果一样，而生成tmp1表使用的HiveQL代码是一样的，如下：

查看tmp1和tmp2表的内容：

3. Spark 写入Hive

当然，在工程中还提供了一种Spark 写入Hive的方法：1. 通过其他方式处理得到DataFrame后；2. 使用registerTempTable的方式建立一个临时表，然后使用HiveContext的sql方法生成新的Hive表；

执行参考：

spark-submit --class hiveinout.SparkReadWriteHive --master yarn --deploy-mode cluster --jars /usr/lib/hive/lib/datanucleus-core-3.2.10.jar --files /usr/lib/hive/conf/hive-site.xml spark_hive-1.0-SNAPSHOT.jar products tmp3

执行后，得到的结果为：

如果您觉得lz的文章还行，可以为我投上您宝贵的一票！谢谢！

http://blog.csdn.net/vote/candidate.html?username=fansy1990