一文带你看懂！CentOS7搭建 Hadoop + HBase + Zookeeper集群

个人博客导航页（点击右侧链接即可打开个人博客）：大牛带你入门技术栈 

一、基础环境准备

1、下载安装包（均使用当前最新的稳定版本，截止至2017年05月24日）

-- 下载 jdk-8u131
# wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz

-- 下载 hadoop-2.7.3
# wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.3

-- 下载 hbase-1.2.5
# wget http://mirror.bit.edu.cn/apache/hbase/1.2.5

-- 下载 zookeeper-3.4.10
# wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10

2、修改hosts文件（使用的三台集群主机默认IP为192.168.0.100、192.168.0.101、192.168.0.102）

# vim /etc/hosts

--添加以下信息（master、slave1、slave2均需修改）

192.168.0.100 master
192.168.0.101 slave1
192.168.0.102 slave2

3、安装JDK

-- 解压jdk安装包
# mkdir /usr/java
# tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/java

-- 拷贝jdk至slave1及slave2中
# scp -r /usr/java slave1:/usr
# scp -r /usr/java slave2:/usr

-- 设置jdk环境变量（master、slave1、slave2均需修改）
# vim /etc/environment
JAVA_HOME=/usr/java/jdk1.8.0_131
JRE_HOME=/usr/java/jdk1.8.0_131/jre

# vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_131
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

4、设置免密登陆

slave1

# ssh-keygen -t rsa
# cp ~/.ssh/id_rsa.pub ~/.ssh/slave1_id_rsa.pub
# scp ~/.ssh/slave1_id_rsa.pub master:~/.ssh/

slave2

# ssh-keygen -t rsa
# cp ~/.ssh/id_rsa.pub ~/.ssh/slave2_id_rsa.pub
# scp ~/.ssh/slave2_id_rsa.pub master:~/.ssh/

master

# ssh-keygen -t rsa
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# cat ~/.ssh/slave1_id_rsa.pub >> ~/.ssh/authorized_keys
# cat ~/.ssh/slave2_id_rsa.pub >> ~/.ssh/authorized_kyes

-- 拷贝文件至slave1及slave2
# scp ~/.ssh/authorized_keys slave1:~/.ssh
# scp ~/.ssh/authorized_keys slave2:~/.ssh

5、关闭防火墙及SELINUX（master、slave1、slave2均需修改）

-- 关闭防火墙
# systemctl stop firewalld.service
# systemctl disable firewalld.service

-- 关闭SELINUX
# vim /etc/selinux/config
-- 注释掉
#SELINUX=enforcing
#SELINUXTYPE=targeted
-- 添加
SELINUX=disabled

 

二、Hadoop环境搭建

1、解压缩安装包及创建基本目录

# tar -zxvf hadoop-2.7.3-x64.tar.gz -C /usr
# cd /usr/hadoop-2.7.3
# mkdir tmp logs hdf hdf/data hdf/name

2、修改hadoop配置文件

-- 修改 slaves 文件
# vim /usr/hadoop-2.7.3/etc/hadoop/slaves
-- 删除 localhost，添加
slave1
slave2


-- 修改 core-site.xml 文件
# vim /usr/hadoop-2.7.3/etc/hadoop/core-site.xml
-- 在 configuration 节点中添加以下内容

    fs.default.name
    hdfs://master:9000


    hadoop.tmp.dir
    file:/usr/hadoop-2.7.3/tmp



-- 修改 hdfs-site.xml 文件
# vim /usr/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
-- 在 configuration 节点添加以下内容

    dfs.datanode.data.dir
    /usr/hadoop-2.7.3/hdf/data
    true


    dfs.namenode.name.dir
    /usr/hadoop-2.7.3/hdf/name
    true



-- 修改 mapred-site.xml 文件
# cp /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml
# vim /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml
-- 在 configuration 节点添加以下内容

    mapreduce.framework.name
    yarn


    mapreduce.jobhistory.address
    master:10020


    mapreduce.jobhistory.webapp.address
    master:19888


-- 修改 yarn-site.xml 文件
# vim /usr/hadoop-2.7.3/etc/hadoop/yarn-site.xml
-- 在 configuration 节点添加以下内容

    yarn.nodemanager.aux-services.mapreduce.shuffle.class
    org.apache.mapred.ShuffleHandler


    yarn.resourcemanager.address
    master:8032


    yarn.resourcemanager.scheduler.address
    master:8030


    yarn.resourcemanager.resource-tracker.address
    master:8031


    yarn.resourcemanager.admin.address
    master:8033


    yarn.resourcemanager.webapp.address
    master:8088

3、复制hadoop到slave节点

# scp -r /usr/hadoop-2.7.3 slave1:/usr
# scp -r /usr/hadoop-2.7.3 slave2:/usr

4、配置 master 和 slave 的 hadoop 环境变量

# vim /etc/profile
-- 添加如下内容
export HADOOP_HOME=/usr/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_LOG_DIR=/usr/hadoop-2.7.3/logs
export YARN_LOG_DIR=$HADOOP_LOG_DIR

-- 保存后执行
# source /etc/profile

# vim ~/.bashrc
-- 添加如下内容
export HADOOP_PREFIX=/usr/hadoop-2.7.3/

-- 保存后执行
# source ~/.bashrc

5、格式化 namenode

# /usr/hadoop-2.7.3/sbin/hdfs namenode -format

6、启动 hadoop（仅在master节点执行）

# ssh master
# /usr/hadoop-2.7.3/sbin/start-all.sh

到这一步已经成功完成了hadoop环境的搭建

三、Zookeeper环境搭建

1、解压缩 zookeeper 安装包到master，并建立基本目录

# tar -zxvf zookeeper-3.4.10.tar.gz -C /usr
# mkdir /usr/zookeeper-3.4.10/data

2、修改master配置文件

-- 复制配置文件模板
# cp /usr/zookeeper-3.4.10/conf/zoo-sample.cfg /usr/zookeeper-3.4.10/conf/zoo.cfg

-- 修改配置文件
# vim /usr/zookeeper-3.4.10/conf/zoo.cfg
-- 添加如下内容
dataDir=/usr/zookeeper-3.4.10/data
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

3、复制到各个子节点

# scp -r /usr/zookeeper-3.4.10 slave1:/usr
# scp -r /usr/zookeeper-3.4.10 slave2:/usr

4、创建myid文件

-- master节点添加myid文件
# ssh master
# touch /usr/zookeeper-3.4.10/data/myid
# echo 1 > /usr/zookeeper-3.4.10/data/myid

-- slave1节点添加myid文件
# ssh slave1
# touch /usr/zookeeper-3.4.10/data/myid
# echo 2 > /usr/zookeeper-3.4.10/data/myid

-- slave2节点添加myid文件
# ssh slave2
# touch /usr/zookeeper-3.4.10/data/myid
# echo 3 > /usr/zookeeper-3.4.10/data/myid

5、启动zookeeper（master、slave1、slave2均需执行）

-- 启动master
# ssh master
# cd /usr/zookeeper-3.4.10/bin
# ./zkServer.sh start

-- 启动slave1
# ssh slave1
# cd /usr/zookeeper-3.4.10/bin
# ./zkServer.sh start

-- 启动slave2
# ssh slave2
# cd /usr/zookeeper-3.4.10/bin
# ./zkServer.sh start

到这一步完成了zookeeper环境的搭建

四、HBase环境搭建

1、解压缩hbase安装包

# tar -zxvf hbase-1.2.5-bin.star.gz -C /usr
# mkdir /usr/hbase-1.2.5-bin/logs

2、修改Hbase启动时要使用的环境变量（hbase-env.sh）

-- 打开环境变量配置文件
# vim /usr/hbase-1.2.5/conf/hbase-env.sh

-- 添加如下内容
-- 1、设置java安装路径
export JAVA_HOME=/usr/java/jdk1.8.0_131
-- 2、设置hbase的日志地址
export HBASE_LOG_DIR=${HBASE_HOME}/logs
-- 3、设置是否使用hbase管理zookeeper（因使用zookeeper管理的方式，故此参数设置为false）
export HBASE_MANAGES_ZK=false
-- 4、设置hbase的pid文件存放路径
export HBASE_PID_DIR=/var/hadoop/pids

3、添加所有的region服务器到regionservers文件中

-- 打开regionservers配置文件
# vim /usr/hbase-1.2.5/conf/regionservers

-- 删除localhost，新增如下内容
master
slave1
slave2

注：hbase在启动或关闭时会依次迭代访问每一行来启动或关闭所有的region服务器进程

4、修改Hbase集群的基本配置信息（hbase-site.xml），该配置将会覆盖Hbase的默认配置

-- 打开配置文件
# vim /usr/hbase-1.2.5/conf/hbase-site.xml


-- 在configuration节点下添加如下内容


    hbase.rootdir
    hdfs://master:9000/hbase


    hbase.cluster.distributed
    true


    hbase.zookeeper.quorum
    master,slave1,slave2


    hbase.zookeeper.property.dataDir
    /usr/zookeeper-3.4.10/data


    hbase.master
    hdfs://master:60000

5、复制hbase到slave中

# scp -r /usr/hbase-1.2.5 slave1:/usr
# scp -r /usr/hbase-1.2.5 slave2:/usr

6、启动hbase（仅在master节点上执行即可）

# ssh master
# /usr/hbase-1.2.5/bin/start-hbase.sh

到这一步hbase环境搭建完成

附Java/C/C++/机器学习/算法与数据结构/前端/安卓/Python/程序员必读/书籍书单大全：

（点击右侧 即可打开个人博客内有干货）：技术干货小栈
=====>>①【Java大牛带你入门到进阶之路】<<====
=====>>②【算法数据结构+acm大牛带你入门到进阶之路】<<===
=====>>③【数据库大牛带你入门到进阶之路】<<=====
=====>>④【Web前端大牛带你入门到进阶之路】<<====
=====>>⑤【机器学习和python大牛带你入门到进阶之路】<<====
=====>>⑥【架构师大牛带你入门到进阶之路】<<=====
=====>>⑦【C++大牛带你入门到进阶之路】<<====
=====>>⑧【ios大牛带你入门到进阶之路】<<====
=====>>⑨【Web安全大牛带你入门到进阶之路】<<=====
=====>>⑩【Linux和操作系统大牛带你入门到进阶之路】<<=====

天下没有不劳而获的果实，望各位年轻的朋友，想学技术的朋友，在决心扎入技术道路的路上披荆斩棘，把书弄懂了，再去敲代码，把原理弄懂了，再去实践，将会带给你的人生，你的工作，你的未来一个美梦。