Hadoop HA(高可用)集群的搭建

最近实验室要搭一个高可用的Hadoop高可用集群,我先在虚拟机上搭了一个

软件 版本
1. OS: ubuntu server 16.04
2. jdk 1.7.80
3. Hadoop 2.6.5
4. zookeeper 3.4.6
5. mysql 5.6
6. HBase 1.2
7. Hive 1.1.0
8. scala 2.11.11
9. Spark 1.6.3
10. Pig 0.16.0
11. Kafka 2.10-0.821
12. Storm 1.1.1
13. REDIS 3.0+
ip hostname 安装的软件
10.0.2.5 master1 jdk/hadoop/hbase/spark/kafka
10.0.2.6 master2 jdk/hadoop/hbase/spark/kafka
10.0.2.7 slave1 jdk/zookeeper/hadoop/mysql/hbase/spark/kafka
10.0.2.4 slave2 jdk/zookeeper/hadoop/mysql/hbase/spark/kafka
10.0.2.9 slave3 jdk/zookeeper/hadoop/hbase/spark/kafka

其中master1和master2作为hadoop集群的两个主节点
master1和master2也作为hbase的两个主节点
master1作为spark的主节点
slave1和slave2上安装mysql
slave1,slave2,slave3上安装zookeeper集群
hive、pig作为工具安装在任何机器上都可以

目录:

  1. virtualbox上系统安装与配置
  2. ssh、ntp和jdk的安装
  3. zookeeper集群的搭建
  4. Hadoop HA的安装
  5. HBase HA的安装
  6. MYSQL双机热备
  7. Hive的安装

你可能感兴趣的:(Hadoop HA(高可用)集群的搭建)