CDH5.16.1安装SPARK2.3

概述:

经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。

1. 安装准备

1.1 Spark2.3安装需求

● CDH Versions

● Cloudera Manager Versions

● JDK1.8+

● Scala 2.11, Python 2.7 or higher, Python 3.4 or higher

1.2 所需软件

①csd包：http://archive.cloudera.com/spark2/csd/
②parcel包：http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/

最终下载的文件有下面4个:

注意，下载对应版本的包，我的CentOS7，所以下载el7的包，若是CentOS6，就要下el6的包。

如果你仔细浏览过这些路径，会发现下图中，csd和parcel包会有.clouderal1和.clouderal2之分，和2.0与2.1版本之分，那么在下载parcel时也要注意，下载对应的包。即如果下载到的是.clouderal1的csd包，下载parcel包也要下载文件名中是.clouderal1的包，不能下载.clouderal2的包，同时csd2.0的包也不能用于parcel2.1的包，不然很可能安不上

2. 开始安装

2.1. 上传CSD包到CM节点的/opt/cloudera/csd目录, 并修改权限

chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera2.jar

2.2. 上传parcel的3个包到CM的/opt/cloudera/parcel-repo目录下

[root@hadoop0 parcel-repo]# ls
SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel
SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha ( 原文件名后缀为sha1, 去掉1)
manifest.json

如之前有manifest.json文件，先把之前的更名或删掉后再上传

2.3. 重启server 和 agent
/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-server restart
/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent restart

2.4 parcel 安装
CM页面-> 主机 -> Parcel页面可以看到新的spark2的parcel包

然后点击 分配, 等分配完成后点击 激活

3. 添加服务

点击-添加服务，选择Spark2服务

然后, 进行角色分配, 和相关的设置, 设置一般选默认即可

4.额外工作

4.1 安装完成后spark2的启动路径如下:
/opt/cloudera/parcels/SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101/bin/spark2-shell

4.2 拷贝配置文件( 不拷贝会有log4j的异常 )
cp /opt/cloudera/parcels/CDH/etc/spark/conf.dist/* /opt/cloudera/parcels/SPARK2/etc/spark2/conf.dist/

参考链接:
https://www.jianshu.com/p/6acd6419f697
https://blog.csdn.net/lichangzai/article/details/82225494
https://www.cnblogs.com/ipoke/p/8875472.html
配置spark-historyServer
https://www.cloudera.com/documentation/enterprise/5-16-x/topics/admin_spark_history_server.html
https://zhangxiong0301.iteye.com/blog/2192813
https://blog.csdn.net/qq_1018944104/article/details/85170496