Centos 7 minal 搭建hadoop+zookeeper+hbase 伪分布式环境

系统版本：

centos 7 x86_64 minal

软件版本：

hbase 2.0.5

http://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.0.5/hbase-2.0.5-bin.tar.gz

zookeeper 3.4.14

http://apache.fayea.com/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

hadoop 2.7.7

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

jdk 1.8.211

oracle 官网

 

#搭建配置顺序：

#jdk

#zookeeper

#hadoop

#hbase

#说明：以下操作全部都用普通管理员账户：hadoop  不建议使用root

#1.先创建几个目录来存放我们的软件：

sudo mkdir /opt/java

sudo mkdir /opt/hadoop

sudo mkdir /opt/hbase

sudo mkdir /opt/zookeeper

#2.解压jdk 压缩包：

sudo tar -zxvf jdk-8u211-linux-x64.tar.gz -C /opt/java/

#3.配置java环境变量（全局的）：
export JAVA_HOME=/opt/java/jdk1.8.0_211
export JRE_HOME=/$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

#4.环境变量立即生效：

source /etc/profile

#5.检查java环境： java -version && javac -version

#6.centos 7 的免密登陆：

ssh-keygen -t rsa  #生成密匙

ssh-copy-id localhost  #给本机免密

ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected] #给其他节点免密  我这里只是搭建一个单机环境

#此步骤很关键，如果不做使用密匙登陆，hadoop服务启动不起来，会提示权限阻止

#6.修改主机名称，做ip映射（如果是集团网，很多节点建议使用内网dns服务器解析）：
sudo vim /etc/hosts

127.0.0.1  hadoop-master
192.168.1.10 hadoop-master  #这里我的内网ip是192.168.1.10

sudo vim /etc/hostname

hadoop-master #主机名

#7.防火墙设置，网上很多教程直接让你关闭防火墙或者禁用防火墙，其实这种方式不是非常建议，这将把你的主机完全暴露，如果是公网很容易被扫，建议需要使用哪些端口就开放哪些端口，对于防火墙的精细配置，请参考：https://www.linuxidc.com/Linux/2018-11/155155.htm
#这里为了简单一点 我就直接关闭防火墙和selinux
sudo systemctl disable firewalld

sudo vim /etc/selinux/config

SELINUX=disabled



#此时建议重启系统，reboot / init 6 / shutdown -r now

#这里主要做了一些准备工作，创建需要的文件目录、java环境搭建、密匙登陆、修改主机名和ip映射、防火墙设置

接下来，我们搭建zookeeper的环境：

#1.解压zookeeper压缩包：

sudo tar -zxf zookeeper-3.4.14.tar.gz -C /opt/zookeeper/

#2.配置环境变量：

export ZOOKEEPER_HOME=/opt/zookeeper/zookeeper-3.4.14
export PATH=$PATH:$ZOOKEEPER_HOME/bin

#让环境变量立即生效 
source /etc/profile

#修改目录所有者：

sudo chown hadoop:hadoop zookeeper-3.4.14

#3.复制配置文件模板并修改：

sudo cp /opt/zookeeper/zookeeper-3.4.14/conf/zoo_sample.cfg /opt/zookeeper/zookeeper-3.4.14/conf/zoo.cfg

sudo vim /opt/zookeeper/zookeeper-3.4.14/conf/zoo.cfg

dataDir=/opt/zookeeper/zookeeper-3.4.14/data
dataLogDir=/opt/zookeeper/zookeeper-3.4.14/logs
#此行在最后添加 1是myid
server.1=hadoop-master:2888:3888

#这里需要创建一些目录和文件：

mkdir /opt/zookeeper/zookeeper-3.4.14/data #存放数据
mkdir /opt/zookeeper/zookeeper-3.4.14/logs #存放日志

echo 1 > /opt/zookeeper/zookeeper-3.4.14/data/myid #标识id 唯一性 这里如果是多个节点 其他节点就需要改这个值

#4.启动zookeeper：

zkServer.sh start

zkServer.sh status  #查看状态 我这里是单个节点 

#Mode: standalone 

#如果你的状态里面存在not error之类的就需要注意了

#5.检查进程：
jps

#此时在应该有两个进程 Jps本身和QuorumPeerMain

接着，我们搭建hadoop环境：

#1.解压hadoop压缩包：

sudo tar -zxf hadoop-2.7.7.tar.gz -C /opt/hadoop/

#2.配置环境变量：

export HADOOP_HOME=/opt/hadoop/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

#修改目录所有者：
sudo chown hadoop:hadoop /opt/hadoop/hadoop-2.7.7

#3.修改配置文件， 这里需要修改的文件比较多，需要注意：

cd /opt/hadoop/hadoop-2.7.7/etc/hadoop

#第一个文件
sudo vim hadoop-env.sh
#设置java的环境
export JAVA_HOME=/opt/java/jdk1.8.0_211

#第二个文件
sudo vim core-site.xml


    
    fs.defaultFS
    hdfs://hadoop-master:9000


    
    hadoop.tmp.dir
    /opt/hadoop/data


#第三个文件
sudo vim hdfs-site.xml


    
    dfs.replication
    1


    
    dfs.datanode.data.dir
    /opt/hadoop/datanode
    true


    
    dfs.namenode.name.dir
    /opt/hadoop/namenode
    true


    
    dfs.http.address
    0.0.0.0:50070


#第四个文件
sudo vim yarn-site.xml


    yarn.resourcemanager.hostname
    hadoop-master


    yarn.nodemanager.aux-services
    mapreduce_shuffle


#第五个文件
sudo vim mapred-site.xml


    mapreduce.framework.name
    yarn


#这些都是一些比较简单的配置，其他更详细的配置内容，请访问官方文档

#4.格式化文件系统：
hdfs namenode –format

start-all.sh  #启动hadoop

#5.检查hadoop是否正常运行：
jps

#此时此刻，正常的应该多出来了NodeManager、NameNode、DataNode、ResourceManager、SecondaryNameNode几个进程，也可以通过浏览器访问ip:50070 查看到信息，这里注意要使用谷歌或者火狐浏览器，不然ajax的兼容性问题，会出现采集不到数据

最后， 配置hbase环境：

#1.解压hbase压缩包：
sudo tar -zxvf hbase-2.0.5-bin.tar.gz -C /opt/hbase/

#2.配置环境变量：

export HBASE_HOME=/opt/hbase/hbase-2.0.5
export PATH=$PATH:$HBASE_HOME/bin

#修改目录所有者：
 sudo chown hadoop:hadoop /opt/hbase/hbase-2.0.5

#3.修改配置文件：

cd /opt/hbase/hbase-2.0.5/conf

#第一个文件
sudo vim hbase-env.sh

export JAVA_HOME=/opt/java/jdk1.8.0_211
export HBASE_CLASSPATH=/opt/hadoop/hadoop-2.7.7/etc/hadoop
export HBASE_MANAGES_ZK=false

#第二个文件
sudo vim hbase-site.xml

 
    hbase.rootdir 
    hdfs://hadoop-master:9000/hbase 
 

 
    hbase.cluster.distributed 
    false 
 

 
    hbase.zookeeper.quorum 
    hadoop-master 
 

 
    hbase.zookeeper.property.dataDir 
    /opt/zookeeper/zookeeper-3.4.14/data 
 

    hbase.unsafe.stream.capability.enforce
    false


#第三个文件
sudo vim regionservers
hadoop-master

#4.启动：start-hbase.sh

#需要注意的是启动会提醒日志包jar重复这个并不影响使用，可以不管

#5.检查：jps

#正常启动 此时会多出来HMaster HRegionServer 两个进程

至此，就搭建完成！