CDH离线安装

系统参数

系统centos:CentOS Linux release 7.5.1804 (Core)

JDK:jdk-8u162-linux-x64

Cloudera Manager:5.15.0

服务器5台,内存16g,磁盘50g,其中主节点磁盘不要小于50g,其他的可适当减少或增加配置

1、提前下载各个离线安装包文件

由于在线安装速度很慢,最好还是先把安装包先下载下载,为了方便安装以下安装包放在server01服务器上的/root/soft/目录下,在通过scp命令将cloudera-manager-agent、cloudera-manager-daemons、cloudera-manager.repo这三个文件拷贝到server02~05的/root/soft/目录下

jdk1.8(自行下载)

CM软件包(除了里面jdk的rpm包,其他的都下载下来)

cloudera-manager-installer.bin

cloudera-manager.repo

CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel

CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1

2、系统参数配置

所有节点修改hostname,第一台服务器命名为server01,依次命名

hostnamectl --static set-hostname server01

修改hosts:

vim /etc/hosts

根据自己的6台服务器IP地址,在最后面增加:

192.168.242.51 server01

192.168.242.52 server02

192.168.242.53 server03

192.168.242.54 server04

192.168.242.55 server05

所有节点关闭防火墙和selinux

systemctl stop firewalld.service #停止

systemctl disable firewalld.service #禁止firewall开机启动

firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)

vim /etc/selinux/config #找到SELINUX改为:SELINUX=disabled

所有节点ssh无密码登录

先在server01上执行:

ssh-keygen -t rsa #一路回车到完成

ssh-copy-id -i ~/.ssh/id_rsa.pub root@server01 #将公钥拷贝到本机的authorized_keys上

再在其他节点分别执行以下命令:

ssh-keygen -t rsa #一路回车到完成

ssh-copy-id -i ~/.ssh/id_rsa.pub root@server01 #注意此处不变,将公钥拷贝到server01的authorized_keys上

在server01上,将authorized_keys分发到其他节点服务器:

scp ~/.ssh/authorized_keys root@server02:~/.ssh/

scp ~/.ssh/authorized_keys root@server03:~/.ssh/

scp ~/.ssh/authorized_keys root@server04:~/.ssh/

scp ~/.ssh/authorized_keys root@server05:~/.ssh/

scp ~/.ssh/authorized_keys root@server06:~/.ssh/


JDK安装

rpm -qa |grep java #如果有就卸载。没有就不用执行下面

yum remove java* #删除自带的java

切换到jdk所在目录,执行安装命令

tar zxvf jdk-8u171-linux-x64.tar.gz


设置环境变量:

vim /etc/profile

在最后面增加:

JAVA_HOME=/usr/java/jdk1.8.0_171JRE_HOME=${JAVA_HOME}/jreCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libPATH=${JAVA_HOME}/bin:$PATH

退出保存,执行以下命令使环境变量生效,并验证JDK安装是否正确

source /etc/profile #使环境变量生效

java -version #查看JDK是否安装正确

 安装ntp时间同步软件

yum install ntp -y

vim /etc/ntp.conf

添加如下配置:

restrict 192.168.242.0 mask 255.255.255.0 nomodify notrap

server cn.pool.ntp.org

server 1.asia.pool.ntp.org

server 2.asia.pool.ntp.org

restrict 2.cn.pool.ntp.org nomodify notrap noquery

restrict 1.asia.pool.ntp.org nomodify notrap noquery

restrict 2.asia.pool.ntp.org nomodify notrap noquery

server 127.0.0.1

fudge 127.0.0.1 stratum 10

CDH离线安装_第1张图片
server01

时间同步

/usr/sbin/ntpdate cn.pool.ntp.org

在server02~06上,修改/etc/ntp.conf配置改为以下

server 192.168.242.51

restrict 192.168.242.51 nomodify notrap noquery

server 127.0.0.1

fudge 127.0.0.1 stratum 10

#server 0.centos.pool.ntp.org iburst

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst


CDH离线安装_第2张图片
server02~05

子节点需要定期同步主节点的时间,所以需要在各个子节点增加一个定时任务:

#每个从节点,从master节点同步时间

ntpdate server01

#做一个计划任务(从节点)

crontab -e

#表示每3小时同步一次时间

00 */3 * * * /usr/sbin/ntpdate server01 >> /root/ntpdate.log 2>&1

#查看计划任务

crontab -l

使用systemctl is-enabled chronyd检查是否为enabled的,如果在运行则关闭该服务,不然ntp在系统重启的时候不会启动

systemctl disable chronyd.service

systemctl enable ntpd.service

systemctl restart ntpd

ntpstat #查看是否同步

从节点已同步到主节点上

最后所有服务器检查一下时间是否一致

3、 Cloudera Manager安装

修改仓库文件cloudera-manager.repo,把版本号加上

cd ~/soft/ #根据前面说的,所有文件均在此目录下

vim cloudera-manager.repo

[cloudera-manager]name = Cloudera Manager

baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/ #主要改这里的版本号

gpgkey = https://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera

gpgcheck = 1

开始server01的安装:

yum localinstall --nogpgcheck *.rpm

从机server02~05安装

yum localinstall --nogpgcheck *.rpm

最后在server01~06节点检查我们安装包

yum list | grep cloudera


server01


server02~05

进入server01的cloudera-manager-installer.bin所在目录 

设置安装权限:

chmod u+x cloudera-manager-installer.bin

执行安装命令:

./cloudera-manager-installer.bin

如果提示需要删除配置文件,则删除该文件

rm -rf /etc/cloudera-scm-server/db.properties

重新执行安装命令,根据安装向导一路next。注意,如果之前master上没有手动安装rpm包此时就会联网下载,下载速度一般都较慢,太费时间。

相同配置下顺利安装时间在1分钟内即可完成。 

然后我们在web浏览器访问 http://192.168.242.51:7180/,看是否能打开页面即可,先不要进行登录操作。

注意:CDH server服务器启动需要一些时间,等1分钟左右。

如果能访问,那证明 cloudera manager安装正常。

4、CDH服务安装

前面完成cloudera manager安装之后server01会在/opt目录下生成cloudera文件夹,将之前下载好的CDH-*文件移动到parcel-repo文件夹中

mv CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel /opt/cloudera/parcel-repo/

mv  CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha #注意这里有重命名

将cloudera manager的用户授权给/opt和日志目录:

chown cloudera-scm.cloudera-scm /opt -R

chown cloudera-scm.cloudera-scm /var/log/cloudera-scm-agent -R

重启cloudera-scm-server(重要

/etc/init.d/cloudera-scm-server restart

重启速度较慢,约1分钟后访问 http://192.168.242.51:7180/ 登陆,账号密码都是:admin 

选择免费版本,根据自身需要一路next安装。

CDH离线安装_第3张图片
输入集群服务器名
CDH离线安装_第4张图片
选择要安装的版本

这样安装成功了

5、错误

1.查看日志,日志文件在/var/log,查询相应的模块日志

2.cloudera-manager-agent和cloudera-manager-daemons要安装最新版的,不然会出现报错

3.如果选择了单用户模式,则要给cloudera-scm用户添加root权限,并使用命令:usermod -s /bin/bash cloudera-scm

4.从节点时间没有同步主节点的话,关闭主节点,再同步

systemctl stop ntpd

/usr/sbin/ntpdate cn.pool.ntp.org

systemctl restart ntpd

ntpstat

你可能感兴趣的:(CDH离线安装)