系统版本： CentOS 7.3 最小化安装
软件版本： Hadoop 2.8.0 Hbase 1.3.1 Zookeeper 3.4.9
集群规划：
| 主机名 | IP |
| hadoop01 | 192.168.1.61 |
| hadoop02 | 192.168.1.62 |
| hadoop03 | 192.168.1.63 |
一、服务器初始配置 (所有服务器执行)
1、按集群规划修改主机名及IP地址。
2、关闭防火墙
systemctl stop firewalld.service systemctl disable firewalld.service
3、关闭Selinux
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config sed -i "s/SELINUXTYPE=targeted/#SELINUXTYPE=targeted/g" /etc/selinux/config
4、安装yum源及软件
yum install epel-release -y yum install yum-axelget -y yum install expect wget unzip bash-completion vim* -y echo "alias vi='vim'">>/etc/bashrc
5、添加host
echo " 192.168.1.61 hadoop01 192.168.1.62 hadoop02 192.168.1.63 hadoop03 ">>/etc/hosts
6、配置免密码登录
#在所有服务器执行以下操作 ssh-keygen #一路回车 #在hadoop01执行以下操作 cd /root/.ssh cat id_rsa.pub >>authorized_keys scp authorized_keys hadoop02:/root/.ssh #在hadoop02执行以下操作 cd /root/.ssh cat id_rsa.pub >>authorized_keys scp authorized_keys hadoop03:/root/.ssh #在hadoop03执行以下操作 cd /root/.ssh cat id_rsa.pub >>authorized_keys scp authorized_keys hadoop01:/root/.ssh scp authorized_keys hadoop02:/root/.ssh #验证配置 #在任意服务器ssh其他服务器，是否可直接登录
7、安装JDK
cd /tmp #去官网下载jdk-8u131-linux-x64.rpm yum install jdk-8u131-linux-x64.rpm -y
8、添加系统变量
echo " export JAVA_HOME=/usr/java/jdk1.8.0_131 export PATH=\$PATH:\$JAVA_HOME/bin export HADOOP_HOME=/data/hadoop export PATH=\$PATH:\$HADOOP_HOME/bin export ZK_HOME=/data/zk export PATH=\$PATH:\$ZK_HOME/bin export HBASE_HOME=/data/hbase export PATH=\$PATH:\$HBASE_HOME/bin ">>/etc/profile
9、系统升级并重启
yum update -y reboot
二、Zookeeper集群部署
1、下载安装
#在所有服务器执行 mkdir /data cd /tmp wget https://archive.apache.org/dist/zookeeper/stable/zookeeper-3.4.9.tar.gz tar zxvf zookeeper-3.4.9.tar.gz mv zookeeper-3.4.9 /data/zk mkdir /data/zk/logs mkdir /data/zk/data chown -R root:root /data/zk
2、添加配置文件
#在所有服务器执行 cat >>/data/zk/conf/zoo.cfg<
3、设置myid
#在hadoop01执行 echo "1" > /data/zk/data/myid #在hadoop02执行 echo "2" > /data/zk/data/myid #在hadoop03执行 echo "3" > /data/zk/data/myid
4、添加开机启动脚本并配置系统服务
echo "[Unit] Description=Zookeeper After=syslog.target network.target remote-fs.target nss-lookup.target [Service] Type=forking PIDFile=/data/zk/data/zookeeper_server.pid ExecStart=/data/zk/bin/zkServer.sh start ExecStop=/data/zk/bin/zkServer.sh stop [Install] WantedBy=multi-user.target ">>/usr/lib/systemd/system/zookeeper.service systemctl enable zookeeper.service systemctl start zookeeper.service systemctl status -l zookeeper.service
5、验证配置
#在任意服务器上执行 zkServer.sh status
三、Hadoop集群部署
1、下载安装
cd /tmp wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz tar zxvf hadoop-2.8.0.tar.gz mv hadoop-2.8.0 /data/hadoop cd /data/hadoop/ mkdir tmp hdfs mkdir hdfs/name hdfs/tmp hdfs/data chown -R root:root /data/hadoop/
2、修改/usr/hadoop/etc/hadoop/hadoop-env.sh
#修改第25行jdk环境变量 export JAVA_HOME=/usr/java/jdk1.8.0_131 #修改第33行，配置文件目录位置 export HADOOP_CONF_DIR=/data/hadoop/etc/hadoop
3、修改/usr/hadoop/etc/hadoop/core-site.xml,修改后文件如下：
hadoop.tmp.dir /data/hadoop/tmp true A base for other temporary directories. fs.default.name hdfs://192.168.1.61:9000 true io.file.buffer.size 131072 ha.zookeeper.quorum 192.168.1.61:2181,192.168.1.62:2181,192.168.1.63:2181
4、修改/usr/hadoop/etc/hadoop/hdfs-site.xml，修改后文件如下：
dfs.replication 2 dfs.name.dir /data/hadoop/hdfs/name dfs.data.dir /data/hadoop/hdfs/data dfs.namenode.secondary.http-address 192.168.1.61:9001 dfs.webhdfs.enabled true dfs.permissions false
5、复制并修改/usr/hadoop/etc/hadoop/mapred-site.xml
cd /data/hadoop/etc/hadoop/ cp mapred-site.xml.template mapred-site.xmlmapreduce.framework.name yarn
6、修改/usr/hadoop/etc/hadoop/yarn-site.xml，修改后文件如下：
yarn.resourcemanager.address 192.168.1.61:18040 yarn.resourcemanager.scheduler.address 192.168.1.61:18030 yarn.resourcemanager.webapp.address 192.168.1.61:18088 yarn.resourcemanager.resource-tracker.address 192.168.1.61:18025 yarn.resourcemanager.admin.address 192.168.1.61:18141 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
7、配置/usr/hadoop/etc/hadoop/slaves，修改后文件如下：
192.168.1.61 192.168.1.62 192.168.1.63
8、将Hadoop安装文件夹复制到其他服务器
scp -r /data/hadoop hadoop02:/data scp -r /data/hadoop hadoop03:/data
9、格式化HDFS文件系统
hadoop namenode -format
10、启动hadoop集群
cd /data/hadoop/sbin/ ./start-all.sh #此命令会直接启动所有节点，只在hadoop01服务器上执行即可
11、验证配置
#查看集群状态 hadoop dfsadmin -report
通过页面 http://192.168.1.61:50070/dfshealth.html 查看
四、Hbase集群部署
1、下载安装
cd /tmp wget http://apache.fayea.com/hbase/1.3.1/hbase-1.3.1-bin.tar.gz tar zxvf hbase-1.3.1-bin.tar.gz mv hbase-1.3.1 /data/hbase chown -R root:root /data/hbase/
2、修改/data/hbase/conf/hbase-env.sh,修改后文件如下：
#修改第27行jdk环境变量 export JAVA_HOME=/usr/java/jdk1.8.0_131 #修改第128行禁用自有Zookeeper export HBASE_MANAGES_ZK=false
3、修改/data/hbase/conf/hbase-site.xml,修改后文件如下：
hbase.rootdir hdfs://192.168.1.61:9000/hbase hbase.cluster.distributed true hbase.zookeeper.quorum 192.168.1.61:2181,192.168.1.62:2181,192.168.1.63:2181 hbase.master.port 16000 hbase.master.info.port 16010
4、修改/data/hbase/conf/regionservers,修改后文件如下：
192.168.1.61 192.168.1.62 192.168.1.63
5、复制Hadoop配置文件到hbase配置文件目录下
cd /data/hbase/conf/ cp /data/hadoop/etc/hadoop/core-site.xml . cp /data/hadoop/etc/hadoop/hdfs-site.xml .
6、将Hbase安装文件夹复制到其他服务器
scp -r /data/hbase hadoop02:/data scp -r /data/hbase hadoop03:/data
7、启动Hbase集群
cd /data/hbase/bin/ ./start-hbase.sh #此命令会直接启动所有节点，只在hadoop01服务器上执行即可
8、验证安装
#进入shell hbase shell
通过页面 http://192.168.1.61:16010 查看
集群配置全部完成！
