本文基于 CHD 14.2 ,UBUNTU 14.04 进行安装
注意事项: 本文中有chown授权, 千万不要图方便直接 chown -R /opt/cloudera 否则会发生你意想不到的惊喜你懂的
开始:以下操作基于主节点:也就是CHD SERVER节点
1,关闭集群,关闭CMS,关闭CDH AGENT 与SERVER
2,下载文件
下载仓库:
http://archive.cloudera.com/spark2/parcels/
下载包parcel包(依据我系统的版本,请下载自己对应的版本):
我的spark 版本为2.1
http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-trusty.parcel
http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-trusty.parcel.sha1
http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/manifest.json
3,更名与放置到对应目录
下载完成过后 将 SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-trusty.parcel.sha1 改名为SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-trusty.parcel.sha
这一步比较重要:先将 /opt/cloudera/parcel-repo 下的 mainifest.json 重命名以下 比如 mv manifest.json manifest.json.cdh.bak
继续: 将下载的三个文件放置到 /opt/cloudera/parcel-repo 下面
将 三个文件授权给 cloudera-scm , 比如: chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/
最后效果:
4,下载 检测依赖包(我取的名字,后面会介绍为啥)
下载仓库:http://archive.cloudera.com/spark2/csd/
我的地址:http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.1.0.cloudera2.jar
5,放置检测包到指定位置
将 http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.1.0.cloudera2.jar,下载好过后,放置到
/opt/cloudera/csd中,如果没有: mkdir -p /opt/cloudera/csd
接着更改授权,命令参考前面授权 chown -R cloudera-scm:cloudera-scm /opt/cloudera/csd
效果图:
6,依次启动 CM SERVER, AGENT , 然后 访问 7180,启动CMS,启动集群
7,安装更新
问题: 什么 ? 没看到?
1,按照本教程重新走一次,特别是启动程序与停止程序步骤
2,特别注意 文件的放置目录 ,本文只提到了两个目录 /opt/cloudera/csd ,检测目录与 /opt/cloudera/parcel-repo 仓库目录
好,接着来说说我的问题:
因为 磁盘挂载关系,无法将CDH安装到/opt/下,因为 /opt被挂到了根/ 目录下,磁盘空间有限
总之/opt/cloudera 为 cdh默认指定目录 ,我没有安装过去
而是重置了目录:
例如:
这是测试环境,我使用的是默认目录,注意 标记1,如果更改,请重启所有代理,这里的代码是指:cdh的 agent
如果你更改了,OK ,想要升级SPARK的话 ,那么上述所有的/opt/cloudera 都要更改为你配置的指定目录
但是:!!!!!!!!!!!!!问题来了,升级spark2的时候有一个csd目录,是没在这里的,也就是无法配置的。
所以 如果你要升级,csd文件目录/opt/cloudera/csd 你必须手动创建,然后把jar放进去