CDH6.3.2 集群部署(尚硅谷)

第一章 数仓之Cloudera Manager 

1.1 CM简介

1.1.1 CM简介

Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具,使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。

1.1.2 CM架构

CDH6.3.2 集群部署(尚硅谷)_第1张图片 Cloudera Manager 架构
  • Cloudera Repository:软件由 Cloudera 管理分布存储库
  • Server:负责软件安装、配置,启动和停止服务,管理服务运行的集群
  • Management Service:由一组执行各种监控,警报和报告功能角色的服务
  • Database:存储配置和监视信息
  • Agent:安装在每台主机上,负责启动和停止的过程,配置,监控主机
  • Clients:是用于与服务器进行交互的接口(API 和 Admin Console)

1.2 环境准备

1.2.1 虚拟机准备

虚拟机信息
IP Hostname CPU 内存 硬盘
192.168.10.221 node01 4 25G 50G
192.168.10.222 node02 4 25G 50G
192.168.10.223 node03 4 25G 50G

情况 1:三台虚拟机(node01、node02、node03),配置好对应主机的网络IP、主机名称、关闭防火墙。

CDH6.3.2 集群部署(尚硅谷)_第2张图片

查看网络的网段的范围:192.168.10.[128-254]

情况 2:服务器 + 跨服务器中的虚拟机

CDH6.3.2 集群部署(尚硅谷)_第3张图片


# 查看网关
[root@localhost ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.10.2    0.0.0.0         UG    100    0        0 ens33
192.168.10.0    0.0.0.0         255.255.255.0   U     100    0        0 ens33
192.168.10.0    0.0.0.0         255.255.255.0   U     100    0        0 ens33
192.168.122.0   0.0.0.0         255.255.255.0   U     0      0        0 virbr0
# 配置 IP 地址
[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33

CDH6.3.2 集群部署(尚硅谷)_第4张图片

# 设置所有节点(三台虚拟机)的 hosts 文件
[root@localhost ~]# vi /etc/hosts

# 配置完成后,重启网络
[root@localhost ~]# systemctl restart network

# 查看主机名
[root@localhost ~]# hostname

# ping 其他主机域名进行验证
[root@localhost ~]# ping node01

CDH6.3.2 集群部署(尚硅谷)_第5张图片

# 关闭所有节点的防火墙并清空规则
# 停止并禁用防火墙
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld

# 清空规则
[root@localhost ~]# iptables -F

# 查看防火墙状态
[root@localhost ~]# systemctl status firewalld

CDH6.3.2 集群部署(尚硅谷)_第6张图片

# 关闭所有节点的 selinux
[root@localhost ~]# vi /etc/selinux/config
    SELINUX=disabled

# 设置后重启生效
[root@localhost ~]# reboot

安全增强型 Linux(SELinux)是一种采用安全架构的 Linux 系统,它能够让管理员更好地管控哪些人可以访问系统。其旨在提高 Linux 系统的安全性,主要作用是最大限度地减小系统中服务进程可访问的资源(最小权限原则)。

1.2.2 设置所有节点的时区一致及时钟同步

① 时区

# 查看节点时区
timedatectl

# 所有节点设置亚洲上海海时区
timedatectl set-timezone Asia/Shanghai

CDH6.3.2 集群部署(尚硅谷)_第7张图片

② 时间同步
主从:主节点和互联网同步时间,从节点与主节点同步

# 所有节点安装 ntp
yum install -y ntp

# 选取 node01 为 ntp 的主节点
[root@node01 ~]# vi /etc/ntp.conf
    # 当外部时间不不可用时,使用本地硬件时间
    server 127.127.1.0 iburst local clock
    # 允许哪些网段的机器来同步时间
    restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

# 开启 ntpd 及查看状态
[root@node01 ~]# systemctl start ntpd
[root@node01 ~]# systemctl status ntpd

# 验证
[root@node01 ~]# ntpq -p

# 其他从节点停止禁用 ntpd 服务,并同步时间
[root@node02 ~]# systemctl stop ntpd
[root@node02 ~]# systemctl disable ntpd
[root@node02 ~]# ntpdate node01
    11 May 11:13:04 ntpdate[9877]: adjust time server 192.168.10.221 offset 0.008564 sec

# 其他从节点每天凌晨同步 node01 节点时间
[root@node01 ~]# crontab -e
    00 00 * * * /usr/sbin/ntpdate node01 

1.2.3 所有节点安装 JDK

# 在 node01 的 /opt 目录下创建 module 和 software 文件夹
[root@node01 ~]# cd /opt/
[root@node01 opt]# mkdir moudle software
# 上传 oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm 并安装
[root@node01 software]# rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm 
[root@node01 software]# vi /etc/profile
    JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
    export PATH=${JAVA_HOME}/bin:${PATH}
[root@node01 software]# source /etc/profile
[root@node01 software]# java -version
java version "1.8.0_262"
# 分发文件,并 source
[root@node01 software]# scp -r /usr/java/ node02:/usr/
[root@node01 software]# scp -r /usr/java/ node03:/usr/
[root@node01 software]# scp /etc/profile node02:/etc/
[root@node01 software]# scp /etc/profile node03:/etc/
[root@node02 software]# source /etc/profile
[root@node02 software]# java -version
[root@node03 software]# source /etc/profile
[root@node03 software]# java -version

1.2.4 安装MySQL

注意:一定要用 root 用户操作如下步骤;先卸载 MySQL 再安装

1)安装包准备

# 查看 MySQL 是否安装
[root@node01 ~]# rpm -qa|grep -i mysql
    mysql-libs-5.1.73-7.el6.x86_64

# 如果安装了 MySQL,就先卸载,并删除原有 MySql 依赖
rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64
yum remove mysql-libs(要做)
# 下载 MySql 依赖并安装
[root@node01 ~]# yum install libaio
[root@node01 ~]# yum -y install autoconf
[root@node01 ~]# cd /opt/software/
[root@node01 software]# wget https://downloads.mysql.com/archives/get/p/23/file/MySQL-shared-compat-5.6.24-1.el6.x86_64.rpm
[root@node01 software]# wget https://downloads.mysql.com/archives/get/p/23/file/MySQL-shared-5.6.24-1.el6.x86_64.rpm
# 上传 mysql-libs.zip 到 node01 的 /opt/software 目录,并解压文件到当前目录
[root@node01 software]# yum install unzip
[root@node01 software]# unzip mysql-libs.zip
[root@node01 software]# ls
    mysql-libs.zip
    mysql-libs

# 可进入到 mysql-libs 文件夹下查看文件
[root@node01 software]# ll mysql-libs/
总用量 76048
-rw-r--r-- 1 root root 18509960 3月  26 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm
-rw-r--r-- 1 root root  3575135 12月  1 2013 mysql-connector-java-5.1.27.tar.gz
-rw-r--r-- 1 root root 55782196 3月  26 2015 MySQL-server-5.6.24-1.el6.x86_64.rpm

2)安装MySQL服务器

# 安装 MySQL 服务端
[root@node01 mysql-libs]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm

# 查看产生的随机密码
[root@node01 mysql-libs]# cat /root/.mysql_secret
    PUhuZJJt9rTRGWrX

# 查看MySQL状态
[root@node01 mysql-libs]# service mysql status

# 启动MySQL
[root@node01 mysql-libs]# service mysql start

3)安装MySQL客户端

# 安装MySQL客户端
[root@node01 mysql-libs]# rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm

# 链接MySQL(密码替换成产生的随机密码)
[root@node01 mysql-libs]# mysql -uroot -pPUhuZJJt9rTRGWrX

# 修改密码
mysql>SET PASSWORD=PASSWORD('000000');

# 退出MySQL
mysql>exit

4)MySQL中user表中主机配置

# 配置只要是root用户+密码,在任何主机上都能登录MySQL数据库。
# 进入MySQL
[root@node01 mysql-libs]# mysql -uroot -p123456

# 显示数据库                  mysql>show databases;

# 使用MySQL数据库             mysql>use mysql;

# 展示MySQL数据库中的所有表    mysql>show tables;

# 展示user表的结构            mysql>desc user;

# 查询user表                   
mysql>select User, Host, Password from user;

# 修改user表,把Host表内容修改为%
mysql>update user set host='%' where host='localhost';

# 删除root用户的其他host
mysql> delete from user where host!='%';

刷新    mysql>flush privileges;

退出    mysql>quit;

1.3 CM安装部署

1.3.1 MySQL中建库

# 创建各组件需要的数据库
mysql> GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';
mysql> CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> CREATE DATABASE hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
mysql> CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
mysql> CREATE DATABASE hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

1.3.2 CM安装

# 将 mysql-connector-java-5.1.27-bin.jar 拷贝到 /usr/share/java 路径下,并重命名
[root@node01 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz
[root@node01 mysql-libs]# cd mysql-connector-java-5.1.27
[root@node01 mysql-connector-java-5.1.27]# mv mysql-connector-java-5.1.27-bin.jar mysql-connector-java.jar
[root@node01 mysql-connector-java-5.1.27]# scp mysql-connector-java.jar /usr/share/java/
[root@node01 mysql-connector-java-5.1.27]# scp -r /usr/share/java/ node02:/usr/share/
[root@node01 mysql-connector-java-5.1.27]# scp -r /usr/share/java/ node03:/usr/share/
集群规划
节点 node01 node02 node03
服务

cloudera-scm-server

cloudera-scm-agent

cloudera-scm-agent cloudera-scm-agent
# 创建 cloudera-manager 目录,存放 cdh 安装文件
[root@node01 mysql-connector-java-5.1.27]# mkdir /opt/cloudera-manager
[root@node01 mysql-connector-java-5.1.27]# cd /opt/software/
[root@node01 software]# tar -zxvf cm6.3.1-redhat7.tar.gz
[root@node01 software]# cd cm6.3.1/RPMS/x86_64/
[root@node01 x86_64]# mv cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
[root@node01 x86_64]# mv cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
[root@node01 x86_64]# mv cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
[root@node01 x86_64]# cd /opt/cloudera-manager/
[root@node01 cloudera-manager]# ll
总用量 1185872
-rw-r--r--. 1 2001 2001   10483568 9月  25 2019 cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r--. 1 2001 2001 1203832464 9月  25 2019 cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r--. 1 2001 2001      11488 9月  25 2019 cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
# 安装cloudera-manager-daemons,安装完毕后多出 /opt/cloudera 目录
[root@node01 cloudera-manager]# rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
[root@node01 cloudera-manager]# cd /opt
[root@node01 opt]# scp -r /opt/cloudera-manager/ node02:/opt/
[root@node01 opt]# scp -r /opt/cloudera-manager/ node03:/opt/
[root@node02 ~]# cd /opt/cloudera-manager/
[root@node02 cloudera-manager]# rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
[root@node03 ~]# cd /opt/cloudera-manager/
[root@node03 cloudera-manager]# rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
# 安装 cloudera-manager-agent
[root@node01 cloudera-manager]# yum install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt
[root@node01 cloudera-manager]# rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
[root@node02 cloudera-manager]# yum install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt
[root@node02 cloudera-manager]# rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
[root@node03 cloudera-manager]# yum install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt
[root@node03 cloudera-manager]# rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
# 安装 agent 的 server 节点
[root@node01 cloudera-manager]# vim /etc/cloudera-scm-agent/config.ini
    server_host=node01 
[root@node02 cloudera-manager]# vim /etc/cloudera-scm-agent/config.ini
    server_host=node01 
[root@node02 cloudera-manager]# vim /etc/cloudera-scm-agent/config.ini
    server_host=node01 

# 安装 cloudera-manager-server
[root@node01 cloudera-manager]# rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

# 上传 CDH 包导 parcel-repo
[root@node01 cloudera-manager]# cd /opt/cloudera/parcel-repo
[root@node01 parcel-repo]# ll
total 2033432
-rw-r--r-- 1 root root 2082186246 May 21 11:10 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
-rw-r--r-- 1 root root         40 May 21 10:56 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
-rw-r--r-- 1 root root      33887 May 21 10:56 manifest.json
[root@hadoop101 parcel-repo]# mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
# 修改server的db.properties
[root@node01 parcel-repo]# vim /etc/cloudera-scm-server/db.properties
    com.cloudera.cmf.db.type=mysql
    com.cloudera.cmf.db.host=node01:3306
    com.cloudera.cmf.db.name=scm
    com.cloudera.cmf.db.user=scm
    com.cloudera.cmf.db.password=scm
    com.cloudera.cmf.db.setupType=EXTERNAL
# 启动server服务
[root@node01 log]# cd /var/log/
[root@node01 log]# /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm
[root@node01 software]# systemctl start cloudera-scm-server
    scm
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

# 启动agent节点
[root@node01 software]# systemctl start cloudera-scm-agent
[root@node02 software]# systemctl start cloudera-scm-agent
[root@node03 software]# systemctl start cloudera-scm-agent

1.4 CM的集群部署

接受条款和协议 :

CDH6.3.2 集群部署(尚硅谷)_第8张图片

 后续未展示的操作,点击继续即可。

CDH6.3.2 集群部署(尚硅谷)_第9张图片

CDH6.3.2 集群部署(尚硅谷)_第10张图片

集群安装 :

CDH6.3.2 集群部署(尚硅谷)_第11张图片

集群名称自行更改,可默认。

指定主机:

CDH6.3.2 集群部署(尚硅谷)_第12张图片

选择 CDH 版本 6.3.2:

CDH6.3.2 集群部署(尚硅谷)_第13张图片

等待下载安装:

检查网络性能,检查主机:

CDH6.3.2 集群部署(尚硅谷)_第14张图片

 Inspect Network Performance,可能会出现警告,网络延迟较高。

CDH6.3.2 集群部署(尚硅谷)_第15张图片

# 问题 1
# 临时解决:
[root@node01 ~]# echo "10">/proc/sys/vm/swappiness
[root@node02 ~]# echo "10">/proc/sys/vm/swappiness
[root@node03 ~]# echo "10">/proc/sys/vm/swappiness
# 永久解决
[root@node01 ~]# sysctl -w vm.swappiness=10
[root@node01 ~]# echo vm.swappiness = 10 >> /etc/sysctl.conf
[root@node02 ~]# sysctl -w vm.swappiness=10
[root@node02 ~]# echo vm.swappiness = 10 >> /etc/sysctl.conf
[root@node03 ~]# sysctl -w vm.swappiness=10
[root@node03 ~]# echo vm.swappiness = 10 >> /etc/sysctl.conf

# 问题 2 
[root@node01 software]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@node01 software]# echo never > /sys/kernel/mm/transparent_hugepage/enabled
[root@node02 software]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@node02 software]# echo never > /sys/kernel/mm/transparent_hugepage/enabled
[root@node02 software]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@node02 software]# echo never > /sys/kernel/mm/transparent_hugepage/enabled

# 问题 3
可以忽略

CDH6.3.2 集群部署(尚硅谷)_第16张图片

群集设置:

CDH6.3.2 集群部署(尚硅谷)_第17张图片

CDH6.3.2 集群部署(尚硅谷)_第18张图片

第2章 数仓

2.1 HDFS、YARN、Zookeeper安装

2.1.1 分配节点

CDH6.3.2 集群部署(尚硅谷)_第19张图片

2.1.2 集群设置全部选默认即可

CDH6.3.2 集群部署(尚硅谷)_第20张图片

2.1.3 修改HDFS的权限检查配置

关闭HDFS中的权限检查:dfs.permissions。

CDH6.3.2 集群部署(尚硅谷)_第21张图片

CDH6.3.2 集群部署(尚硅谷)_第22张图片

CDH6.3.2 集群部署(尚硅谷)_第23张图片

CDH6.3.2 集群部署(尚硅谷)_第24张图片

类似问题,配置相应的内存大小,内存若不够,则忽略。

CDH6.3.2 集群部署(尚硅谷)_第25张图片

CDH6.3.2 集群部署(尚硅谷)_第26张图片

CDH6.3.2 集群部署(尚硅谷)_第27张图片

CDH6.3.2 集群部署(尚硅谷)_第28张图片

  版本验证问题,可以忽略。 

2.1.4 配置NameNode HA

进入HDFS页面点击启用High Availability

HA(High Available),高可用性集群,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点。

CDH6.3.2 集群部署(尚硅谷)_第29张图片CDH6.3.2 集群部署(尚硅谷)_第30张图片

CDH6.3.2 集群部署(尚硅谷)_第31张图片

审核更改

CDH6.3.2 集群部署(尚硅谷)_第32张图片

2.1.5 配置Yarn HA

CDH6.3.2 集群部署(尚硅谷)_第33张图片

CDH6.3.2 集群部署(尚硅谷)_第34张图片

2.2 Spark安装

安装spark

CDH6.3.2 集群部署(尚硅谷)_第35张图片

CDH6.3.2 集群部署(尚硅谷)_第36张图片

2.3 Kafka安装

2.3.1 Kafka安装

Kafka 的 Broker 选择三台机器

CDH6.3.2 集群部署(尚硅谷)_第37张图片

2.3.2查看Kafka Topic

[root@node01 parcel-repo]# /opt/cloudera/parcels/CDH/bin/kafka-topics --zookeeper hadoop102:2181 --list

2.3.3 创建 Kafka Topic

进入到 /opt/cloudera/parcels/KAFKA 目录下分别创建:启动日志主题、事件日志主题。

创建topic test

[root@node01 parcel-repo]# /opt/cloudera/parcels/CDH/bin/kafka-topics --bootstrap-server node01:9092,node02:9092,node03:9092  --create --replication-factor 1 --partitions 1 --topic test

2.3.4 删除 Kafka Topic

删除启动日志主题

[root@node01 parcel-repo]# /opt/cloudera/parcels/CDH/bin/kafka-topics --delete --bootstrap-server node01:9092,node02:9092,node03:9092--topic test

2.4 Hive安装

将 Hive 服务添加到 Cluster 1

CDH6.3.2 集群部署(尚硅谷)_第38张图片

2.5 配置Impala

CDH6.3.2 集群部署(尚硅谷)_第39张图片

CDH6.3.2 集群部署(尚硅谷)_第40张图片

CDH6.3.2 集群部署(尚硅谷)_第41张图片

你可能感兴趣的:(大数据)