基于CDH5.10.2安装spark2

前提：在我的CDH5.10集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本

在线安装：

        环境我这边是jdk1.8，scala-2.11.x ，操作系统Centos6.5

  一、准备工作：

        创建目录：mkdir -p /opt/cloudera/csd

        并修改该权限及组：chown cloudera-scm:cloudera-scm /opt/cloudera/csd

        获取csd(放到/opt/cloudera/csd目录)：官网获取：http://archive.cloudera.com/spark2/csd

    我用的是2.1.0的以及cloudera2的jar，这里面还有3的，主要区别的话可以看

     https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html

     

   修改组用户权限：
        chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera2.jar

    二、添加parcels：http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/

然后就是下载激活分配，重新启动CM等服务就可以安装spark2

 

三、然后就是在集群中添加服务：

我的启动会有错误发生：但是应该说是不会有的，java环境我是配置好的

解决:看下/etc/spark2/conf下的配置文件信息，但是发现并没有任何文件，于是我就把5.10自带的spark的配置文件复制进来

       cp /etc/spark/conf/* /etc/spark/conf/

完美解决！！！

离线方式：

当然在线按装的话估计下载速度会很慢，所以也可以离线升级，离线升级就是将所需要的安装包，直接放到/opt/cloudera/parcel-repo

根据自己的需要去下载，不过因为后期cm的版本会有不同，所以建议高版本下载低版本的，比如：我的是cdh5.10的那么我安装的是spark2.1.0且是5.7的

给大家截几个图：

 

这些应该大家都能看出来不同！！！

 

然后下在下来后就跟上面的在线一样的了，就是去parcels安装分配即可，然后就是添加服务！