CDH5.12.1
CDH部署
*Centos7中安装CDH5.12.1*
| hostname | ip |
|---|---|
| node1(master) | 172.17.134.226 |
| node2 | 172.17.134.226 |
| node3 | 172.17.134.226 |
下载安装包
仅node1节点执行
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz
manifest.json
mysql-connector-java-5.1.45-bin.jar
安装jdk
所有节点执行
wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz
mkdir /usr/java
tar xf tar xf jdk-8u131-linux-x64.tar.gz -C /usr/java
vim /etc/profile
JAVA_HOME=/usr/java/jdk1.8.0_131
PATH=${JAVA_HOME}/bin:$PATH
建议：所有节点java环境参照此处配置，将java解压至/usr/java/下，可避免必要麻烦
ls /usr/java/jdk1.8.0_131/
关闭防火墙
所有节点执行
systemctl stop firewalld
SELinux
set enforce 0 （临时生效）
修改 vim /etc/selinux/config 下的
SELINUX=disabled （重启后永久生效）
安装mysql
仅一台服务器执行，以node1为例
https://www.jianshu.com/p/8c596b08b90e?v=1688637409730
ntpd服务
所有节点执行
网络配置
配置三台服务器互相免密
所有节点执行，node1为为例
vim /etc/hostname
node1
每台服务器添加
172.17.134.226 node1
172.17.134.227 node2
172.17.134.228 node3
设置免密
ssh-keygen -t rsa
ssh-copy-id username@remote_server
如果找不到该命令 ssh-copy-id，手动复制公钥
或者其余方法，达到免密效果即可
cat ~/.ssh/id_rsa.pub
#目标服务器
touch ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
安装Cloudera Manager
安装前先保证机器上安装了python，不过一般centos7都默认安装了python2.7.5
所有节点创建cloudera-scm用户
useradd --system --home-dir /opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
仅node1节点执行
tar -zxvf /app/cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz -C /opt
vim /opt/cdh5.12.1/etc/cloudera-scm-agent/config.ini
#修改server_host参数为node1节点
server_host=node1
建议：建议直接解压至/opt目录可以避免很多问题,或者解压至其他目录后创建软连接
ln -s cm-5.12.1/ /opt/cm-5.12.1
ln -s cloudera/ /opt/clouder
将mysql驱动copy到/opt/cm-5.12.1/share/cmf/lib/中
cp /opt/cdh5.12.1/mysql-connector-java-5.1.44-bin.jar /opt/cm-5.12.1/share/cmf/lib/
所有节点执行
scp -r /opt/cdh5.12.1/ root@node1:/opt/
scp -r /opt/cdh5.12.1/ root@node2:/opt/
scp -r /opt/cdh5.12.1/ root@node3:/opt/
主节点初始化CM5的数据库
/opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hnode1 -uroot -pGjxx@Ak1q2w3e --scm-host node1 scm
Enter SCM password：Gjxx@Ak1q2w3e
安装kafka(推荐安装)
配置CDH源，只需要在master节点安装即可；
KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel
KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel.sha1
manifest.json
将上述两个文件移动到/opt/cloudera/parcel-repo/ 目录下
cp KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel /opt/cloudera/parcel-repo/
cp KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel.sha1 /opt/cloudera/parcel-repo/
#注意修改 KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel.sha1 为 KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel.sha
mv KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel.sha1 KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel.sha
将上述manifest.json文件追加至/opt/cloudera/parcel-repo/manifest.json文件中
cat manifest.json >>/opt/cloudera/parcel-repo/manifest.json
启动server
仅node1(master)节点执行
/opt/cdh5.12.1/etc/init.d/cloudera-scm-server start
启动Agent
/opt/cdh5.12.1/etc/init.d/cloudera-scm-agent start
访问
172.17.134.226:7180
admin:admin