2019独角兽企业重金招聘Python工程师标准>>>
因工作需要,尝试安装大数据集群换进,选择了CDH版,个人装了好几遍,现在做下记录,因为是在线版,下载的软件版本可能有所不同,后续会有离线版安装。
环境准备:
1、服务器暗转了mysql
2、mysql驱动包存放到 /usr/share/java/mysql-connector-java.jar(名称必须一样,不带版本号)
3、关闭防火墙 service iptables stop (临时关闭) chkconfig iptables off(关闭开机启动)
说明:这是为防止防火墙拦截端口通信,造成安装失败,安装成功后,根据个人情况,自行调整。
4、关闭SELINUX,vi /etc/selinux/config 修改
SELINUX=disabled #重启后永久生效,
说明:这是系统管理软件权限的设置,设置起来很麻烦,想学习的自己深究。
5、修改主机名 vi /etc/sysconfig/network文件
NETWORKING=yes
HOSTNAME=主机名
修改 vi /etc/hosts文件
写上本机ip地址,空格主机名,具体可自己百度。
配置完以上这些,最好重弄服务器一次,接下来开始安装CDH。
1:安装运行环境
下载安装文件
wget http://archive-primary.cloudera.com/cm5/installer/5.10.0/cloudera-manager-installer.bin
建议存放在: /opt/cloudera/parcel-repo 这是CDH cloudera manager 安装包默认存储路径。
授权执行:chmod 777 cloudera-manager-installer.bin
提前下载deamons文件存放到/opt/cloudera/parcel-repo/下
wget -c
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.10.0/RPMS/x86_64/cloudera-manager-daemons-5.10.0-1.cm5100.p0.85.el6.x86_64.rpm
说明:这个文件比较大,直接运行安装命令,可能因为下载失败,造成安装失败。
运行安装 ./cloudera-manager-installer.bin
中间要确认很多次,如果安装失败,可以查看日志,日志位置:
/val/log/cloudera-scm-server/cloudera-scm-server.log
安装成功后,会提示到浏览器登录:http://localhost:7180/
账号密码:admin admin
2:安装CDH
配置mysql数据库:
/opt/cm-5.4.7/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -u账号 -p密码 --scm-host localhost scm scm scm
先不要登录安装,先下载CDH安装包。
访问http://archive-primary.cloudera.com/cdh5/parcels/5.10.0.41/,下载文件
CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel // centos6下载el6文件,centos5下载el5文件
CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1
manifest.json
存放到默认路径下/opt/cloudera/parcel-repo/,CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1必须重命名去掉最后的1,不然安装失败。
登录页面,
登录成功后,第一页同意左下角协议,第二也选择第一列免费版。
后续是支持软件演示,点击下一步,选择下载好的CDH版本,CDH-5.10.0-1.cdh5.10.0.p0.41-el6,下一步,搜索服务器,文本框输入本机IP点击search搜索,选择搜到的主机,下一步,后面会同意各种条约,自动安装JDK。
下一步到服务安装页面,这里可能会报错,会有日志位置提示,可能是某软件下载失败,需要自己手动下载,复制到/opt/cloudera/parcel-repo/下,重新安装
环境安装成功后,进入CDH安装,因为已经提前下载好了,会直接进入解压。
最后,终于大功告成,哈哈。
cloudera 服务重启方式:
/etc/init.d/cloudera-scm-server restart
这篇博文是安装后的总结,图片少了些,如果遇到问题,可留言讨论。