CDH5.16.2安装部署(一)准备工作

一、集群规划

离线部署:mysql cm( server agent 主从架构 ) parcel文件

规划:

hadoop001:mysql cm-server cm-agent nn snn dn rm nm zk

hadoop002:cm-agent dn nm broker zk

hadoop003:cm-agent dn nm broker zk

原则:

  1. 选择第一台  配置不是太强的做为  工具节点  mysql  cm-server  cm-agent
  2. 选择2台  专门做  大数据生态圈的主从架构的组件(HDFS  YARN  HBase)的  主角色
  3. datanode和nodemanager部署在同一台 ==> 数据本地化,dn是用来做存储的,nm是用来做计算的,部署在同一台,可以尽可能的使计算离数据更近一些。
  4. 其他非主从架构的组件的进程  随意部署  尽量在同一个机架

二、云平台集群环境准备

2.1 云平台需求:

  • 杭州 、可用区G
  • 2core、16G
  • centos、7.2 64位
  • 高效云盘 40G
  • 网络 默认
  • 公网宽带:按固定带宽 1M

CDH5.16.2安装部署(一)准备工作_第1张图片

2.2安装包

组件 版本 链接
JDK jdk-8u251-linux-x64.tar.gz

https://www.oracle.com/java/technologies/javase-downloads.html

MySQL mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz https://downloads.mysql.com/archives/community/
MySQL驱动 mysql-connector-java-5.1.47.tar.gz https://downloads.mysql.com/archives/c-j/
CM tar包 cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz http://archive.cloudera.com/cm5/cm/5/
parcel

CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel

CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1

manifest.json

http://archive.cloudera.com/cdh5/parcels/5.16.2/

 

三、集群节点初始化工作

3.1 命令

安装包上传目录

mkdir ~/cdh5.16.2

安装上传下载命令(上传时可历时增加带宽)

yum install lrzsz   

3.2 配置ip和域名映射关系

hadoop001

hadoop002

hadoop003

3.3 防火墙

建议:尽量关闭防火墙 (自己的机房、IDC托管的机器、云主机)

systemctl stop firewalld

systemctl disable firewalld

iptables -F

3.4关闭selinux

vi /etc/selinux/config

SELINUX=disable

3.5时区、时钟的同步 (云主机可忽略)

1) 时区

timedatectl --help 

timedatectl list-timezones

2) 时钟

安装ntp工具

yum install -y ntp

策略:选择第一台节点作为ntp主节点,从网络或本地同步时间,其他节点作为从节点,从主节点同步时间

a) 主节点:

vi /etc/ntp.conf

#time

server 0.asia.pool.ntp.org

server 1.asia.pool.ntp.org

server 2.asia.pool.ntp.org

server 3.asia.pool.ntp.org

#当外部时间不可用,使用本地硬件时间

server 127.127.1.0 iburst local clock

#允许哪些网段的机器来同步时间

restrict 网段.0 mask 255.255.255.0 nomodify notrap

# 开启ntp

systemctl start ntpd

# 查看ntp的状态

systemctl status ntpd

# 查看ntp的网络服务器

ntpq -p

b) 从节点

# 关闭ntp

systemctl stop ntpd

# 禁用ntp

systemctl disable ntpd

# 从主节点同步时间

ntpdate hadoop001

# 使用crontab每天凌晨定时同步主节点的时间

crontab -e

00 00 * * * ntpdate hadoop001

 

 

 

 

 

你可能感兴趣的:(大数据,CDH)