Hdoop学习笔记(HDP)-Part.03 资源规划

目录
Part.01 关于HDP
Part.02 核心组件原理
Part.03 资源规划
Part.04 基础环境配置
Part.05 Yum源配置
Part.06 安装OracleJDK
Part.07 安装MySQL
Part.08 部署Ambari集群
Part.09 安装OpenLDAP
Part.10 创建集群
Part.11 安装Kerberos
Part.12 安装HDFS
Part.13 安装Ranger
Part.14 安装YARN+MR
Part.15 安装HIVE
Part.16 安装HBase
Part.17 安装Spark2
Part.18 安装Flink
Part.19 安装Kafka
Part.20 安装Flume

三、资源规划

1.资源配置

主机名 FQDN IP 服务器配置
hdp01 hdp01.hdp.com 192.168.111.201/24 8c、8G、200GB+50GB
hdp02 hdp02.hdp.com 192.168.111.202/24 8c、8G、200GB+50GB
hdp03 hdp03.hdp.com 192.168.111.203/24 8c、8G、200GB+3*100GB
hdp04 hdp04.hdp.com 192.168.111.204/24 8c、8G、200GB+3*100GB
hdp05 hdp05.hdp.com 192.168.111.205/24 8c、8G、200GB+3*100GB

2.磁盘规划

主机 磁盘分布
hdp01
hdp02
/dev/sda:系统盘
/dev/sdb:/data01,MySQL、zookeeper、NameNode、JournalNode
hdp03 /dev/sda:系统盘
/dev/sdb:/data01,zookeeper、DataNode、JournalNode
/dev/sdc:/data02,DataNode
/dev/sdd:/data03,DataNode
hdp04
hdp05
/dev/sda:系统盘
/dev/sdb:/data01,DataNode
/dev/sdc:/data02,DataNode
/dev/sdd:/data03,DataNode

3.组件规划

组件 版本 hdp01 hdp02 hdp03 hdp04 hdp05
ansible 2.9.27
MySQL 5.7.25
Ambari-metrics Metrics Collector 0.2.0
Metrics Monitor
Grafana
ZooKeeper ZooKeeper Server 3.4.6
ZooKeeper Client
HDFS NameNode 3.1.1.3.1
DataNode
JournalNode
zkfc
YARN ResourceManager 3.1.1
NodeManager
HistoryServer
TimelineService
Timeline Service Reader
Registry DNS
OpenLDAP openldap-server 2.4.44
openldap-client
migrationtools
phpldapadmin
keepalived v1.3.5
HaProxy 1.5.18
kerberos Krb5-server 1.15.1
krb5-workstation
Ranger Ranger Admin 1.2.0.3.1
UserSync
Hive HiveServer2 3.1.0
MetaStore
Tez 0.9.1
HBase HMaster 2.0.2
RegionServer
Spark Spark2 History Server 2.3.0
Flink client 1.9.3
Kafka broker 2.0.0
kafka manager 2.0.0.2
Flume flume 1.9.0

你可能感兴趣的:(hadoop,学习,笔记,hadoop)