Spark On Hive，通过spark sql模块访问和使用Hive，默认Spark预编译(pre-built)版不包含hive相关依赖，并不支持此功能，因此需要对spark源码进行重新编译，并进行相关的配置，下面是具体操作步骤：
1.下载最新版spark源码包
http://spark.apache.org/downloads.html
cd /data/soft/
wget -c http://apache.fayea.com/spark/spark-1.5.2/spark-1.5.2.tgz
tar -xzf spark-1.5.2.tgz
2.编译Spark源码
根据自己需要的hadoop版本进行编译并打成分发包
cd spark-1.5.2
./make-distribution.sh --tgz --name 2.3.0 -Pyarn -Phadoop-2.3 -Dhadoop.version=2.3.0 -Phive -Phive-thriftserver
主要是通过maven进行编译，所以要下载很多依赖包，这个过程非常痛苦和漫长，可以先看一下spark-1.5.2/pom.xml文件，看看整合了哪些module，如果编译过程中报错，链接超时或者依赖包长时间无法下载，可以重试几次，或者手动在各个整合的module下面，进行预编译。
执行成功之后，会在生成一个分发包spark-1.5.2/spark-1.5.2-bin-2.3.0.tgz（注意这个包名称中的2.3.0就是前面执行命令中-name参数制定的名称）
3.部署Spark环境
mkdir /data/hadoop/
tar -xzf spark-1.5.2/spark-1.5.2-bin-2.3.0.tgz -C /data/hadoop/
4.确保Hive正常
我的Hive部署在/data/hadoop/hive-0.12.0-cdh5.1.0/
通过执行bin/hive进入hive交互环境，执行一下HQL语句看是否能够执行成功。
5.Spark on Hive配置
复制hive-site.xml文件到spark-1.5.2-bin-2.3.0/conf/下面
cp /data/hadoop/hive-0.12.0-cdh5.1.0/hive-site.xml /data/hadoop/spark-1.5.2-bin-2.3.0/conf/
修改spark-env.sh文件，添加如下配置（基于前一篇《Spark环境部署》配置基础上）：
注：根据自己服务器环境情况配置
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.79.x86_64
export HADOOP_HOME=/data/hadoop/hadoop-2.3.0-cdh5.1.0
export HADOOP_CONF_DIR=/data/hadoop/hadoop-2.3.0-cdh5.1.0/etc/hadoop
export YARN_CONF_DIR=/data/hadoop/hadoop-2.3.0-cdh5.1.0/etc/hadoop
export HIVE_HOME=/data/hadoop/hive-0.12.0-cdh5.1.0
export SCALA_HOME=/usr/local/scala-2.11.7
export SPARK_HOME=/data/hadoop/spark-1.5.2-bin-2.3.0
export SPARK_MASTER_IP=host20
export SPARK_MASTER_PORT=7077
export PYSPARK_PYTHON=/usr/local/bin/python2.7
export PYSPARK_DRIVER_PYTHON=/usr/local/bin/python2.7
export SPARK_LOCAL_IP=host20
export SPARK_YARN_QUEUE=hadoop
export SPARK_WORKER_CORES=10
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=30G
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=5G
export SPARK_CLASSPATH=$SPARK_CLASSPATH:$HIVE_HOME/lib/mysql-connector-java-5.1.20-bin.jar
修改/etc/profile文件，添加如下配置（基于前一篇《Spark环境部署》配置基础上）：
注：根据自己服务器环境情况配置
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.19.x86_64
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export SCALA_HOME=/usr/local/scala-2.11.7
export PATH=$PATH:$SCALA_HOME/bin
export SPARK_HOME=/data/hadoop/spark-1.5.2-bin-2.3.0
export PATH=$PATH:$SPARK_HOME/bin
export HADOOP_HOME=/data/hadoop/hadoop-2.3.0-cdh5.1.0
export PATH=$PATH:$HADOOP_HOME/bin
下面列出来我的hive-site.xml文件主要配置：
javax.jdo.option.ConnectionURL
jdbc:mysql://host220:3306/hive?createDatabaseIfNotExist=true
javax.jdo.option.ConnectionUserName
hive
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
Driver class name for a JDBC metastore
javax.jdo.option.ConnectionPassword
hive
hive.metastore.local
false
hive.metastore.warehouse.dir
hdfs://mycluster/hive/warehouse
注意：注释部分后面会介绍
6.通过jdbc方式直接访问Hive
启动master和worker
sbin/start-master.sh
sbin/start-slave.sh spark://host20:7077
使用spark-sql访问hive
bin/spark-sql --executor-cores 2 --total-executor-cores 4 --master spark://host20:7077
进来之后可以执行一下HQL语句，查看是否能访问到Hive中的数据
使用pyspark访问hive
bin/pyspark
>>> from pyspark.sql import HiveContext
>>> sqlContext=HiveContext(sc)
>>> results=sqlContext.sql("show databases").collect()
7.通过thrift方式间接访问Hive
需要配置启动hive metastore服务和spark的thriftserver
修改/data/hadoop/hive-0.12.0-cdh5.1.0/hive-site.xml，添加如下配置：
hive.metastore.uris
thrift://host20:9083
hive.server2.thrift.port
10000
Port number of HiveServer2 Thrift interface. Can be overridden by setting $HIVE_SERVER2_THRIFT_PORT
hive.server2.thrift.bind.host
host20
Bind host on which to run the HiveServer2 Thrift interface.Can be overridden by setting$HIVE_SERVER2_THRIFT_BIND_HOST
并将新的hive-site.xml文件，替换掉spark下面的hive-site.xml文件，同步配置。
cp /data/hadoop/hive-0.12.0-cdh5.1.0/hive-site.xml /data/hadoop/spark-1.5.2-bin-2.3.0/conf/
启动metastore服务
./hive --service metastore > metastore.log 2>&1 &
启动spark的thriftserver
sbin/start-thriftserver.sh --executor-cores 2 --total-executor-cores 2 --master spark://host20:7077
8.集群部署
在其他服务器上，同步/data/soft/目录下面的spark-1.5.2-bin-2.3.0.tar.gz和hive-0.12.0-cdh5.1.0.tar.gz文件
rsync -az --include "soft/" --exclude "/*" host20::data /data/
每个服务器上执行下面的步骤
tar -xzf /data/soft/spark-1.5.2-bin-2.3.0.tar.gz -C /data/hadoop/
tar -xzf /data/soft/hive-0.12.0-cdh5.1.0.tar.gz -C /data/hadoop/
修改spark-env.sh中的配置与本服务器环境一致。