Spark从入门到精通33：编译Spark源码以支持Hive

Spark官网提供的原生的安装包不支持Hive，但是我们可以使用Spark官网提供的Spark源码包编译成支持Hive的安装包来使用。

本节实验环境介绍：

• 操作系统：centos7
• JDK：jdk-1.8
• scala：2.11.8
• Hadoop：Hadoop-2.7.3
• Spark源码包：spark-2.4.0.tgz 提取码：x5ib
• 本文生成的安装包下载：spark-2.4.0-bin-hadoop-2.7.3-hive.tgz 提取码：4786

1.安装maven

（1）官网下载Maven最新安装包：maven-3.6.0-bin.tar.gz

# ls /root/tools/maven-3.6.0-bin.tar.gz

（2）解压Maven安装包

# tar -zxvf /root/tools/maven-3.6.0-bin.tar.gz -C /root/trainings

（3）添加环境变量

# vim /root/.bash_profile
MAVEN_OPTS="-Xms256m -Xmx512m -XX:MaxPermSize=128m -XX:ReservedCodeCacheSize=64m"
export MAVEN_OPTS
MAVEN_HOME=/root/trainings/apache-maven-3.6.0
export MAVEN_HOME
PATH=$MAVEN_HOME/bin:$PATH
export PATH

使环境变量生效：

# source /root/.bash_profile

（4）查看Maven是否安装成功

# mvn -v
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
Apache Maven 3.6.0 (97c98ec64a1fdfee7767ce5ffb20918da4f719f3; 2018-10-25T02:41:47+08:00)
Maven home: /root/trainings/apache-maven-3.6.0
Java version: 1.8.0_144, vendor: Oracle Corporation, runtime: /root/trainings/jdk1.8.0_144/jre
Default locale: zh_CN, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-693.el7.x86_64", arch: "amd64", family: "unix"

2.使用maven编译生成spark安装包

（1）Spark官网下载Spark源码包：spark-2.4.0.tgz

# ls /root/tools/spark-2.4.0.tgz

（2）解压Spark源码包

# tar -xvf /root/tools/spark-2.4.0.tgz

（3）进入Spark源码包的根目录

# cd spark-2.4.0

（4）更改mvn默认的scala版本（编译spark-2.4.0需要scala-2.11以上）

# ./dev/change-scala-version.sh 2.11

（5）搭建maven环境（下载需要的依赖包，时间较长）

# mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -Phive -Phive-thriftserver -DskipTests clean package

（6）编译生成安装包（编译过程较慢，时间较长）

# ./dev/make-distribution.sh --name hadoop-2.7.3-hive --tgz -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -Phive -Phive-thriftserver -DskipTests

（7）生成的安装包如下：

# ls spark-2.4.0-bin-hadoop-2.7.3-hive.tgz

整个编译过程需要注意几点：

1. spark-2.4.0.tgz需要的JDK版本1.8以上；
2. spark-2.4.0.tgz需要的Scala版本2.11以上；
3. 第(5)(6)步中的Hadoop版本一定要和你目标机器上的Hadoop版本保持一致（我这里是Hadoop-2.7.3），否则即使编译成功也不能使用；
4. 第(5)(6)步中编译过程需要较大的JVM空间，需要把MAVEN_OPTS环境变量的参数值设置的适当大一些，否则会报错OOM。

3.安装Spark（略）

请参考本站spark板块的安装相关的文章。

4.Spark集成hive

（1）修改Hive的配置文件hive-site.xml

# vim hive-site.xml

加入属性：

hive.metastore.local
false

修改属性：

hive.metastore.uris
thrift://192.168.126.110:9083

（2）将hive-site.xml拷贝到Spark的conf目录下

# cp $HIVE_HOME/conf/hive-site.xml $SPARK_HOME/conf

（3）将hive中的mysql连接器拷贝到Spark的jars目录下

# cp SPARK_HOME/jars

5.spark-sql中使用hive

5.1准备工作

（1）启动hive元数据服务

# hive --service metastore &

（2）准备本地数据

# cat /root/input/student.csv
1,Tom,23
2,Mary,24
3,Mike,22

（3）登录hive，创建一张表，加载本地数据

# hive
hive> create table student(sid int,sname string,age int) row format delimited fields terminated by ',';
OK
Time taken: 0.839 seconds
hive> load data local inpath '/root/input/student.csv' into table student;
Loading data to table default.student
OK
Time taken: 0.98 seconds
hive> select * from student;
OK
1 Tom 23
2 Mary 24
3 Mike 22
Time taken: 1.238 seconds, Fetched: 3 row(s)

5.2使用Hive中的数据

（1）启动spark-shell

# spark-shell

（2）在spark-sql中使用Hive

scala> import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.hive.HiveContext

scala> val hiveContext = new HiveContext(sc)
hiveContext: org.apache.spark.sql.hive.HiveContext = org.apache.spark.sql.hive.HiveContext@634d56eb

scala> val studentRDD = hiveContext.sql("select * from default.student").rdd
studentRDD: org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] = MapPartitionsRDD[5] at rdd at :26

scala> studentRDD.foreach(println)
[Stage 0:> (0 + 1) / 1]
[1,Tom,23]
[2,Mary,24]
[3,Mike,22]