CM5.12.1离线安装spark2.2

目录

一、文档编写目的

二、升级准备

三、升级Spark2.2 0

四、验证Spark版本

五、常见问题

六、总结

---

一、文档编写目的

在CDH集群中spark1和Spark2版本可以共存，为了更好的体验及使用Spark新版本的API或修改已知旧版本的bug，现需要将CDH集群中安装Spark2.2，本节主要介绍如何通过Cloudera Manager离线安装Spark2.2。

操作流程概述：

• 升级准备
• 升级Spark版本及验证
• 总结

测试环境概述：

• CM和CDH版本为5.12.1
• Spark on Yarn部署
• 采用root用户操作
• CentOS6.9

前置条件：

• 集群JAVA版本已升级至1.8

二、升级准备

• 下载安装包

下载Spark2.2的parcel包及csd文件，下载地址：csd文件下载

注意：这里的csd文件有.cloudera1和.cloudera2之分，下载时需要注意下载的是哪个版本，若是.cloudera1，则parcel包需要下载2.2.0.cloudera1路径下的，而如果是.cloudera2，则parcel包需要下载2.2.0.cloudera2路径下的。

parcel包下载地址：spark2.2 parcels包

• 部署Spark2.2的parcel包

将下载的parcel包部署在http服务的/var/www/html/spark2.2目录下

• 测试parcel是否可远程访问

可成功访问 http://192.168.0.242/spark2.2/

• 部署csd文件

将下载好的csd文件拷贝至/opt/cloudera/csd目录下，并修改文件属主为cloudera-scm

# chown cloudera-scm. SPARK2_ON_YARN-2.2.0.cloudera2.jar

注意：如果csd目录下有其它Spark版本的csd文件需要移除。

• 完成以上部署后，重启cloudera-scm-server服务

# service cloudera-scm-server restart

• 使用管理员登录到Cloudera Manager的Web控制台根据提示重启Cloudera Management Service服务

三、升级Spark2.2 0

• 配置Spark2.2版本的parcel库地址

配置完后就可以看到spark2.2的版本了

• 点击下载、分配、激活Spark2.2版本

激活重启后，Parcel显示为已激活状态

• 安装的Spark2.2.0服务

• 配置Spark2的JAVA环境变量

保存配置，并重新部署客户端配置

至此已完成Spark2.2的安装

四、验证Spark版本

• 在命令行运行spark2-shell命令，验证Spark版本

• 运行一个Spark2的作业

spark2-submit --class org.apache.spark.examples.SparkPi \

    --master yarn-client --num-executors 4 --driver-memory 2g \

    --driver-cores 1 --executor-memory 2g --executor-cores 1 \

    /opt/cloudera/parcels/SPARK2/lib/spark2/examples/jars/spark-examples_2.11-2.2.0.cloudera2.jar 5

五、常见问题

在命令行运行spark2-shell命令报如下异常：

解决方式：在Spark2的配置项“客户端高级配置代码片段”中增加JAVA的环境变量且必须为1.8版本。

六、总结

1. 升级Spark2.2版本的前提是已将CDH集群的JAVA升级到1.8版本，第五部分《CM5.12.1将 jdk1.7升级到1.8》
2. 升级Spark2.2时需要注意CSD文件是否与parcel版本一致，且在/opt/cloudera/csd目录下只能存在一个Spark的CSD文件。
3. 在升级到Spark2.2后需要指定JAVA的环境变量，由于集群使用的是Spark ON Yarn模式，所以文章中只需要在“客户端高级配置代码片段”中增加JAVA的环境变量。