阿里云CDH6（03）--Centos7.6部署Cloudera Manager6.3.1、CDH6.32

一、前置准备

1、三台服务器hosts文件修改

vim /etc/hosts

更改为：

192.168.117.100  nogc112 nogc112
192.168.117.101  nogc113 nogc113
192.168.117.102  nogc114 nogc114

2.ssh免密登录

1、三台服务器执行

ssh-keygen

然后一直回车。

2、三台服务器执行

ssh-copy-id nogc112

点yes

输入密码。

3、三台服务器执行

ssh-copy-id nogc113

点yes

输入密码。

4、三台服务器执行

ssh-copy-id nogc114

点yes

输入密码。

可在nogc1125输入 ssh nogc113看是否设置成功，通过exit 退出

3.设置xsync脚本工具

1、在/root目录下创建bin目录，并在bin目录下创建文件xsync，文件内容如下：

[root@nogc112 ~]# mkdir bin
[root@nogc112 ~]# cd bin/
[root@nogc112 bin]# vim xsync

在该文件中编写如下代码:

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=113; host<115; host++)); do
        echo ------------------- nogc$host --------------
        rsync -av $pdir/$fname $user@nogc$host:$pdir
done

注意：倒数第二、三行改为自己主机名

2、修改脚本 xsync 具有执行权限

[root@nogc112 bin]# chmod +x xsync

4.设置xcall脚本工具

1、在/root/bin目录下创建脚本xcall.sh

vim xcall.sh

2、在脚本中编写如下内容

#! /bin/bash

for i in nogc112 nogc113 nogc114
do
        echo --------- $i ----------
        ssh $i "$*"
done

3、修改脚本执行权限

[root@nogc112 bin]# chmod +x xcall.sh 

5.阿里云时间同步、防火墙、SELINUX_FTPD都不用设置

二、安装三台JDK

1、在nogc112上创建/usr/java和 /opt/software

[root@nogc112 usr]# mkdir /usr/java
[root@nogc112 opt]# mkdir /opt/software

2、用上传工具，如Xftp等 把jdk-8u212-linux-x64.tar.gz上传到/opt/software下

3、解压到/usr/java目录下

[root@nogc112 software]# tar -zxvf jdk-8u212-linux-x64.tar.gz -C /usr/java/

4、配置JAVA_HOME环境变量

（1）创建并打开文件java.sh

[root@nogc112 software]# vim /etc/profile.d/java.sh

添加如下：

#! /bin/bash
export JAVA_HOME=/usr/java/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

5、分发java文件和配置文件

[root@nogc112 software]# xsync /usr/java/

[root@nogc112 software]# xsync /etc/profile.d/java.sh 

6、使修改后的文件生效,三台服务器执行

source /etc/profile.d/java.sh

7、三台服务查看java是否安装成功

java -version

三、安装MySQL驱动

1、三台卸载自带mysql

rpm -qa | grep mariadb | xargs rpm -e --nodeps

2.下载mysql5.7源

[root@nogc112 software]# cd /opt/software/
wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm

3.安装源

[root@nogc112 software]# rpm -ivh mysql57-community-release-el7-9.noarch.rpm

4.安装mysql

[root@nogc112 ~]# yum -y install mysql-server

yum安装会自动解决依赖的问题

5.启动mysql 服务

systemctl start mysqld

6.查看用户密码

grep 'temporary password' /var/log/mysqld.log

最后显示 root@localhost: ro0*i6CAs,3中 ro0i6CAs,*3 为密码

7.执行初始化

mysql_secure_installation

Enter password for user root:

输入ro0*i6CAs,*3 然后空格确定

在New psssword: 中输入自己设置的新密码 （12位以上 有大小写 数据 特殊符号）

Change the password for root ? ((Press y|Y for Yes, any other key for No) :y

New password: 再输入新密码

Do you wish to continue with the password provided?(Press y|Y for Yes, any other key for No) : y

Remove anonymous users? (Press y|Y for Yes, any other key for No) :y 

Disallow root login remotely? (Press y|Y for Yes, any other key for No) :n

Remove test database and access to it? (Press y|Y for Yes, any other key for No) :y

Reload privilege tables now? (Press y|Y for Yes, any other key for No) :y

8.进入mysql

[root@nogc112 ~]# mysql -uroot -p****

9.配置远程访问权限

mysql> grant all privileges on *.* to 'root' @'%' identified by '******';

“*****”为你的密码

mysql> flush privileges;

10.退出mysql

mysql> quit;

11.安装mysql驱动

（1）将mysql-connector-java-5.1.27-bin.jar拷贝到/usr/share/java下，并重命名

先建立 /usr/share/java

[root@nogc112 software]# mkdir /usr/share/java

再拷贝

[root@nogc112 software]# cp mysql-connector-java-5.1.27-bin.jar /usr/share/java/

重命名

[root@nogc112 software]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar 

（2）分发

[root@nogc112 java]# xsync /usr/share/java/

四、安装CM

在线安装

1、

[root@nogc112 ~]# cd /etc/yum.repos.d/

[root@nogc112 yum.repos.d]#  wget https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/cloudera-manager.repo

2、分发

[root@nogc112 yum.repos.d]# xsync cloudera-manager.repo 

3、

nogc112上

[root@nogc112 software]# yum -y install cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm 
[root@nogc112 software]# yum -y install cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
[root@nogc112 software]# yum -y install cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm 

nogc113、nogc114上

yum -y install cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm 

yum -y install cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

4、配置三台服务器

vim /etc/cloudera-scm-agent/config.ini

server_host=nogc112

5、在mysql创建各组件需要的数据库

mysql -uroot -p*****

复制如下进mysql

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

mysql> quit;

6、为CM配置数据库

[root@nogc112 opt]# /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm root *****

7、启动CM

（1）启动服务节点：hadoop102

systemctl start cloudera-scm-server

（2）启动工作节点：hadoop102上启动

xcall.sh systemctl start cloudera-scm-agent

（3）查看server启动日志

[root@nogc112 cloudera-scm-server]# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

有如下：则启动成功：

2020-05-30 23:24:54,272 INFO WebServerImpl:org.eclipse.jetty.server.AbstractConnector: Started ServerConnector@fc8f9d4{HTTP/1.1,[http/1.1]}{0.0.0.0:7180}

2020-05-30 23:24:54,275 INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.

注意：安全组开放7180端口

五、安装CDH

mkdir -p /var/www/html/cdh6_parcel

把CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1、CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel、manifest.json上传到/var/www/html/cdh6_parcel里

将CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1：需改名为

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha

mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha

在www下

[root@nogc112 html]# python -m SimpleHTTPServer 8900

1、http://nogc112:7180/进入

账号密码都是admin

2、点继续

3、点是的 。继续

4、选到免费，然后点继续

5、点继续

6、群集名称自己定义，然后点继续

7、点当前管理的主机，选所有主机，然后点继续

8、有外网可以直接使用默认安装，或点选择方式里的更多选项

CDH刷新不出可：停机后
三台 /var/lib/cloudera-scm-agent下删除uuid
mysql>drop database scm;
然后重新建scm

点Inspect Network Performance和Inspect Hosts

三台机子执行,要不机子性能受影响

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

好了后，点继续

自定义选自己安装的服务

我这里选 HDFS、YARN和ZooKeeper 这三个常用的。其它之后可再选