CDH集群离线部署(CM6.3.1 + CDH6.3.2 + CentOS7)

1.1原生Hadoop的问题

1. 版本管理过于混乱
2. 部署过程较为繁琐,升级难度较大
3. 兼容性差
4. 安全性低

1.2CDH和CM(Cloudera Manager)

1. CDH(Cloudera’s Distribution Including Apache Hadoop),是Hadoop众多分中的一种，由Cloudera公司维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可以直接用于生产环境。就是Hadoop等大数据安装包的第三方版本的集合，提供了Hadoop等大数据服务的安装包。
2. CM(Cloudera Manager)提供了一个管理和监控Hadoop等大数据服务的web界面，能让我们方便安装大数据生态圈的大部分服务。

1.3Hadoop自动化部署和管理平台

主流的有Apache Ambari和Cloudera Manager，相对应的Hadoop的发行版为HDP和CDH。这种自动化部署平台的功能一般如下:

1. 提供Hadoop大数据集群
2. 管理Hadoop大数据集群
3. 监控Hadoop大数据集群

PS:HDP的公司(hortonworks)已经被CDH公司(Cloudera)收购了

1.4Cloudera Manager架构

                

1. Server：负责软件安装、配置，启动和停止服务，管理服务运行的群集。核心

1. Agent：安装在每台主机上。负责启动和停止进程，配置，监控主机。

1. Management Service：由一组执行各种监控，警报和报告功能角色的服务。图表的生成和管理

1. Database：存储配置和监视信息。

1. Cloudera Repository：软件由Cloudera 管理分布存储库。（有点类似Maven的中心仓库）；在线安装（从中心仓库拉取）和离线安装（离线库）

1. Clients：是用于与服务器进行交互的接口（API和Admin Console）

1.5CDH下载

官方下载地址:https://archive.cloudera.com

1. CM下载

https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/

                    

1. CDH下载

https://archive.cloudera.com/cdh6/6.3.2/parcels/

               

注意:CDH的版本一定要和CM的版本对应

2.环境准备

使用VMware模拟多台主机，由于主机条件有限，只演示三台机器，配置如下:

主机名	系统	IP	内存	磁盘
cdh-1	Centos7	192.168.100.10	4G	60G
cdh-2	Centos7	192.168.100.20	2G	60G
cdh-3	Centos7	192.168.100.30	2G	60G

2.1修改主机名(所有节点)

hostnamectl set-hostname cdh-1 hostnamectl set-hostname cdh-2 hostnamectl set-hostname cdh-3

2.2关闭防火墙(所有节点)

systemctl stop firewalld systemctl disable firewalld

2.3关闭SELinux(所有节点)

setenforce 0 #临时关闭 #永久关闭 将SELINUX= enforcing 修改为SELINUX=disabled vi /etc/selinux/config SELINUX=disabled

PS: 可以使用sed -i s/SELINUX=enforcing/SELINUX=disabled/g /etc/selinux/config

2.4配置IP到主机的映射(所有节点)

vi /etc/hosts 192.168.100.10 cdh-1 192.168.100.20 cdh-2 192.168.100.30 cdh-3

2.5配置免密码登录(cdh-1)

# 生成公钥和私钥 三次回车 ssh-keygen # 复制公钥和私钥 ssh-copy-id cdh-1 ssh-copy-id cdh-2 ssh-copy-id cdh-3

2.6设置用户最大可打开文件数，进程数，内存占用(所有节点)

vi /etc/security/limits.conf

*    soft    nofile   32728 *    hard    nofile   1024999 *    soft    nproc   65535 *    hard    noroc    unlimited *    soft    memlock    unlimited *    hard    memlock    unlimited

sysctl -p

2.7设置swap空间(所有节点)

echo "vm.swappiness = 0" >> /etc/sysctl.conf

Cloudera建议将交换空间设置为0，过多的交换空间会引起GC耗时的激增。

2.8关闭大页面压缩(所有节点)

echo never > /sys/kernel/mm/transparent_hugepage/enabled echo never > /sys/kernel/mm/transparent_hugepage/defrag

3.安装

将下载好的CDH包和CM的包使用sftp上传到cdh-1

3.1配置本地yum

CDH的安装包都是rpm包如果使用rpm安装方式安装起来是比较复杂的，会有很多依赖问题需要解决，就需要使用yum帮助我们解决依赖问题。

                    

1.配置centos源(cdh-1)

#挂载centos7镜像 mount /dev/cdrom /mnt/ #删除系统自带的源 rm -rf /etc/yum.repos.d/* #新建一个本地yum源 cat >> /etc/yum.repos.d/local.repo << EOF [centos] name=centos baseurl=file:///mnt gpgcheck=0 EOF #验证 yum repolist

2.安装httpd服务（cdh-1）

# 安装 yum install -y httpd # 启动 systemctl start httpd #开机自启 systemctl enable httpd

http服务可以帮助我们传输文件，默认静态资源的目录为/var/www/html

3.centos源配置为http方式获取（cdh-1）

#在http服务的静态资源目录创建centos目录 mkdir /var/www/html/centos #将centos的镜像文件复制到centos目录 cp -rvf /mnt/* /var/www/html/centos/ #可以通过http访问了 http://192.168.100.10/centos/

#修改cdh-1的本地centos源的配置 vi /etc/yum.repos.d/local.repo baseurl=http://cdh-1/centos #取消挂载 umount /dev/cdrom /mnt

其他节点配置(cdh-1,cdh-2)

cat >> /etc/yum.repos.d/local.repo << EOF [centos] name=centos baseurl=http://cdh-1/centos gpgcheck=0 EOF #验证 yum repolist

4.配置CM源

1. 移动文件安装包文件到http服务器静态文件目录(cdh-1)

#在/var/www/html创建存放cm包的文件夹和cdh安装包的文件夹 mkdir /var/www/html/{cm,cdh} #将cdh的安装包和cm的包移动到创建的目录 #移动cm安装包 mv cloudera-manager-* /var/www/html/cm/ mv  enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm /var/www/html/cm #移动cdh安装包和元数据文件 mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel manifest.json /var/www/html/cdh/

1. 制作CM源生成repodata文件，需要用到createrepo这个包(cdh-1)

#安装 yum install -y createrepo #进入到cm的rpm包存放目录 cd /var/www/html/cm # 生成repodata文件夹 createrepo .

1. 配置yum源（所有节点）

cat >> /etc/yum.repos.d/cm.repo << EOF [CM] name=cm baseurl=http://cdh-1/cm/ gpgcheck=0 EOF

3.2安装

                      

1.安装依赖(所有节点)

yum install -y bind-utils libxslt cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 Mysql-python fuse

2.安装Cloudera Manager和Cloudera Agent(cdh-1)

#安装JDK yum install -y oracle-j2sdk1.8.x86_64 #安装cloudera-manager yum install  -y cloudera-manager-agent cloudera-manager-daemons cloudera-manager-server cloudera-manager-server-db-2 postgresq-server

3.安装Mariadb

#安装 yum install -y mariadb-server #启动和开机自启 systemctl start mariadb && systemctl enable mariadb #配置Mariadb数据库 mysql_secure_installation

                              

4.初始化管理节点(cdh-1)

1. 复制mysql的jdbc驱动包到/usr/share/java目录

需要使用sftp上传jar包到cdh-1节点上

#创建/usr/share/java目录 mkdir -p /usr/share/java #复制jar包到/usr/share/java下 cp mysql-connector-java-5.1.48.jar /usr/share/java/ #注意:需要改名为mysql-connector-java.jar mv /usr/share/java/mysql-connector-java-5.1.48.jar /usr/share/java/mysql-connector-java.jar

1. 初始化数据库

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h localhost -uroot -proot --scm-host localhost scm root root

5.安装agent节点

只需要在chd-2和cdh-3节点上安装

#安装jdk yum install -y oracle-j2sdk1.8.x86_64 #安装agent yum install cloudera-manager-daemons cloudera-manager-agent -y

6.修改配置文件(所有节点)

修改Cloudera Agent配置文件/etc/cloudera-scm-agent/config.ini，配置server_host为主节点cdh-1

#通过vi命令修改 vi /etc/cloudera-scm-agent/config.ini server_host=cdh-1 #也可以通过sed命令修改 sed -i "s/server_host=localhost/server_host=cdh-1/g" /etc/cloudera-scm-agent/config.ini 注意:只用使用一种命令修改就行了，推荐使用sed

7.配置JAVA_HOME(所有节点)

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera/ export PATH=$PATH:$JAVA_HOME/bin

3.3启动

1.启动Cloudera Manager(cdh-1)

在主节点启动Cloudera Manager

#启动 systemctl start cloudera-scm-server #设置开机自启 systemctl enable cloudera-scm-server

2.启动Cloudera Agent(所有节点)

#启动 systemctl start cloudera-scm-agent #开机自启 systemctl enable cloudera-scm-agent

可以访问http://192.168.100.10:7180用户名密码都是admin

4.使用

4.1登录

                           

                           

• 选择试用版

                      

4.2配置集群

                                 

• 设置集群的名称

                          

• 选择集群主机

                     

• 配置CDH安装包

                     

• 配置CDH parcel的位置

                   

• 选择我们配置好的

                    

• 等待下载包

                    

• 检查主机性能

              

              

4.3安装Zookeeper

• 安装选项

               

                

• 选择服务安装主机

              

• 数据库配置

                

• 需要创建数据库(cdh-1)

#建库 create database activity; create database reports; create database audit; create database metadata;

#授权 grant all on activity.* to cdh@localhost identified by 'cdh'; grant all on activity.* to cdh@'%' identified by 'cdh'; grant all on reports.* to cdh@localhost identified by 'cdh'; grant all on reports.* to cdh@'%' identified by 'cdh'; grant all on audit.* to cdh@localhost identified by 'cdh'; grant all on audit.* to cdh@'%' identified by 'cdh'; grant all on metadata.* to cdh@localhost identified by 'cdh'; grant all on metadata.* to cdh@'%' identified by 'cdh';

• 测试连接

                  

• 可以配置邮件报警

                

• 安装

              

• 安装完成

              

     

问题

内存 CPU过小 配置问题

                

总结

•           安装过程还是比较简单的，只需要配置yum就可以使用yum安装
•           由于电脑的配置有限，导致出现了一些问题，内存尽量能给大一点就给大一点