Spark简单读写Hive

Spark版本：1.6.0
语言：Python 2.7

使用Spark写入Hive表

# --coding=utf-8--
from pyspark import SparkContext
from pyspark import SparkConf
from pyspark.sql import HiveContext
conf = SparkConf().setAppName('test')
sc = SparkContext(conf=conf)
sqlContext = HiveContext(sc)
tfile = sc.textFile(fpath)
rdd = tfile.map(your_method).map(lambda x : Row(**x)) #your_method 是自己定义的map函数
df = rdd.toDF() #转化成DataFrame

#存入Hive表中，mode有append, overwrite, error, ignore 这4种模式
df.write.saveAsTable('testtable',mode='overwrite')
filterDF=sqlContext.sql("SELECT * FROM testtable")
filterDF.show()

使用Spark读取Hive表数据

# --coding=utf-8--
from pyspark import SparkContext
from pyspark import SparkConf
from pyspark.sql import HiveContext
conf = SparkConf().setAppName('test')
sc = SparkContext(conf=conf)
sqlContext = HiveContext(sc)
filterDF=sqlContext.sql("SELECT * FROM testtable")
filterDF.show()