CDH 升级SPARK2 与 问题

本文基于 CHD 14.2 ,UBUNTU 14.04 进行安装 


注意事项: 本文中有chown授权, 千万不要图方便直接 chown -R /opt/cloudera  否则会发生你意想不到的惊喜你懂的




开始:以下操作基于主节点:也就是CHD SERVER节点

1,关闭集群,关闭CMS,关闭CDH AGENT 与SERVER


2,下载文件

下载仓库:

http://archive.cloudera.com/spark2/parcels/

下载包parcel包(依据我系统的版本,请下载自己对应的版本):

我的spark 版本为2.1

http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-trusty.parcel

http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-trusty.parcel.sha1

http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/manifest.json

3,更名与放置到对应目录

下载完成过后  将 SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-trusty.parcel.sha1 改名为SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-trusty.parcel.sha


这一步比较重要:先将 /opt/cloudera/parcel-repo 下的 mainifest.json 重命名以下 比如 mv manifest.json manifest.json.cdh.bak 


继续: 将下载的三个文件放置到 /opt/cloudera/parcel-repo 下面 


将 三个文件授权给 cloudera-scm  , 比如:  chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/ 


最后效果: 


PARCEL-REPO 目录效果


4,下载 检测依赖包(我取的名字,后面会介绍为啥)

下载仓库:http://archive.cloudera.com/spark2/csd/


我的地址:http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.1.0.cloudera2.jar


5,放置检测包到指定位置


将 http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.1.0.cloudera2.jar,下载好过后,放置到


/opt/cloudera/csd中,如果没有: mkdir -p /opt/cloudera/csd

接着更改授权,命令参考前面授权 chown -R cloudera-scm:cloudera-scm /opt/cloudera/csd


效果图:


6,依次启动  CM SERVER, AGENT , 然后 访问 7180,启动CMS,启动集群


7,安装更新


登录CDH,然后依次选中图中勾选处 主机-》PARCEL




检查更新




我这里因为已经安装好所以是已分配已激活,自行分配激活



来吧,开始安装啦


看到了么?高兴么?



问题: 什么 ? 没看到?


1,按照本教程重新走一次,特别是启动程序与停止程序步骤

2,特别注意 文件的放置目录 ,本文只提到了两个目录 /opt/cloudera/csd ,检测目录与  /opt/cloudera/parcel-repo 仓库目录


好,接着来说说我的问题:

因为 磁盘挂载关系,无法将CDH安装到/opt/下,因为 /opt被挂到了根/ 目录下,磁盘空间有限

总之/opt/cloudera 为 cdh默认指定目录 ,我没有安装过去


而是重置了目录:

例如:


点击配置




这是测试环境,我使用的是默认目录,注意 标记1,如果更改,请重启所有代理,这里的代码是指:cdh的 agent 


如果你更改了,OK  ,想要升级SPARK的话 ,那么上述所有的/opt/cloudera 都要更改为你配置的指定目录


但是:!!!!!!!!!!!!!问题来了,升级spark2的时候有一个csd目录,是没在这里的,也就是无法配置的。


所以 如果你要升级,csd文件目录/opt/cloudera/csd 你必须手动创建,然后把jar放进去

你可能感兴趣的:(CDH 升级SPARK2 与 问题)