CDH 安装与部署

组件版本

• centOS 7.6
• Cloudera Manager: 6.2.1
• CDH: 6.2.1
• Hadoop:3.0.0-cdh6.2.1
• HBase:2.1.0-cdh6.2.1
• Hive:2.1.1-cdh6.2.1
• Kafka:2.1.1-cdh6.2.1
• Kudu:1.9.0-cdh6.2.1
  Oozie:5.1.0-cdh6.2.1
  Spark:2.4.0-cdh6.2.1
  Sqoop:1.4.7-cdh6.2.1
  Zookeeper:3.4.5-cdh6.2.1

0.CDH介绍

• ClouderaManager架构
  

Agent：安装在每台主机上。它负责启动和停止进程，解压缩配置，触发安装和监控主机
Management Service：执行各种监控、报警和报告功能的一组角色的服务。 
Database：存储配置和监控信息 （元数据）
Cloudera Repository：可供Cloudera Manager分配的软件的存储库
Client：用于与服务器进行交互的接口
Admin Console：管理员控制台 
API：开发人员使用 API可以创建自定义的Cloudera Manager应用程序

1.Linux 虚拟机基础环境(-SQL 安装完）

基础环境准备

IP	主机名	环境配置	安装
192.168.64.130	cdh01	关闭防火墙和SELinux,host映射，时钟同步	JDK,NameNode,ResourceManager,Zookeeper
192.168.64.140	cdh02	关闭防火墙和SELinux,host映射，时钟同步	JDK,NameNode,ResourceManager,Zookeeper
192.168.64.150	cdh03	关闭防火墙和SELinux,host映射，时钟同步	JDK,NameNode,ResourceManager,Zookeeper

2.创建本地 Yum 仓库

Yum 的好处：
- 安装方便
- Yum 安装的时候，目录和程序的组织形式比较像Linux
Yum 的弊端：外网有时不能访问服务器，下载慢

创建本地 Yum 仓库的目的是因为从远端的 Yum 仓库下载东西的速度实在是太渣, 然而 CDH 的所有组件几乎都要从 Yum 安装, 所以搭建一个本地仓库会加快下载速度

2.1 CM基础环境搭建

• 1. 下载包（使用课程提供）：

https://archive.cloudera.com/cdh6/6.2.1/parcels/
https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/RPMS/x86_64/

• 2. 安装依赖包(三台服务器都安装）

yum install -y cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs bind-utils libxslt fuse
yum install -y /lib/lsb/init-functions createrepo deltarpm python-deltarpm
yum install -y mod_ssl openssl-devel python-psycopg2 MySQL-python

• 3. 安装 httpd( 安装在cdh01|部署本地yum源的机器上安装即可)

yum install httpd
yum install createrepo
# 要想使用http，将它作为Yum源，配置一个和官网里面一致的目录结构
mkdir -p cm6/6.2.1/redhat7/yum/RPMS/x86_64/

# 服务器暂停
shutdown -h now
# 上传cmd6中的文件到此目录（html）

# 上传allkeys.asc文件到/var/www/html/cm6/6.2.1/目录下

# 服务器上创建cdh6目录
 mkdir -p cdh6/6.2.1/parcels/
# 进入 parcels，上传cdh的三个文件

# 访问测试
http://cdh01/cm6/6.2.1/redhat7/yum/RPMS/x86_64/

# 若失败，尝试启动http 服务
service httpd start

# 若域名映射失败，打开本地hosts文件，添加映射
C:\Windows\System32\drivers\etc\hosts

• 4. 生成repodata目录(后期若有文件更改，必须重新生成）

# 进入
cd /var/www/html/cm6/6.2.1/redhat7/yum
# 执行
createrepo .

• 5. 配置本地yum源

# 进入
cd /etc/yum.repos.d/
# 打开
vim cloudera-manager.repo
# 填写
[cloudera-manager]
name=Cloudera Manager
baseurl=http://cdh01/cm6/6.2.1/redhat7/yum/
gpgcheck=0
enabled=1
# 执行
yum clean all
yum list | grep cloudera

• 6. 创建cloudera-scm用户（centos7要求必须有)

# 执行
useradd cloudera-scm
passwd cloudera-scm
123456
# 免秘钥登录，执行
echo "cloudera-scm ALL=(root)NOPASSWD:ALL" >> /etc/sudoers
su - cloudera-scm
# 退出
exit

• 7. 安装mysql服务
     • 安装mysql server

# 执行
wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql-community-server
# 如果提示-bash: wget: 未找到命令，则：
yum -y install wget

  - mysql设置

# 执行启动
service mysqld start
# 查看状态
service mysqld status
# 通过mysql安装自带脚本进行设置
/usr/bin/mysql_secure_installation
远程登录及权限表选择  n
# 在linux上进入客户端
mysql -u root -p
# 授权语句
create database scm DEFAULT CHARACTER SET utf8;
# 远程访问权限
grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
# 本地访问权限
grant all PRIVILEGES on *.* TO 'root'@'localhost' IDENTIFIED BY '123456' WITH GRANT OPTION;
# 主机访问权限
grant all PRIVILEGES on *.* TO 'root'@'cdh01' IDENTIFIED BY '123456' WITH GRANT OPTION;
# 刷新MySQL的系统权限相关表
flush privileges;
# 退出
exit;

2.2 如果在yum源（新建的目录下）中添加了新的包时：

1.需要删除之前的repodata文件后，重新生成；
2.重启httpd服务
3.清除yum缓存 yum clean all

2.3 CM安装Server和Agent

• 安装Server服务

# 依次安装
yum install -y oracle-j2sdk1.8-1.8.0+update181-1.x86_64
yum install -y enterprise-debuginfo-6.2.1-1426065.el7.x86_64
yum install -y cloudera-manager-server-6.2.1-1426065.el7.x86_64
yum install -y cloudera-manager-server-db-2-6.2.1-1426065.el7.x86_64

• 设置元数据库为mysql

# 上传 jdbc 驱动到 /opt/cloudera/cm/lib 下
mysql-connector-java-5.1.40.jar
# 设置元数据库为mysql--前提是安装ClouderaManager Server服务
/opt/cloudera/cm/schema/scm_prepare_database.sh -h localhost mysql scm root 123456
# 查看：
cat /etc/cloudera-scm-server/db.properties

• 启动server服务进程（查看7180端口）
  /opt/cm-5.6.1/etc/init.d/cloudera-scm-server start

2.3 CM添加 Service 服务

3.安装 Zookeeper

4.安装 Hadoop

5.安装 MySQL

6.安装 Hive

7.安装 Kudu

8.安装 Impala

9.安装 Hue