HBASE双机集群HA-部署

HBASE双机HA-部署

1.1、系统环境初始化

防火墙关闭

server iptables stop

chkconfig iptables off

selinux关闭

 

用户创建:

vim yonghu.txt

hbase hdfs hive impala Impala kudu Kudu spark wxl zookeeper

 

#!/bin/sh

for i in `cat /root/hadoop-cdh/yonghu.txt`;

do

    echo $i

    useradd $i

done

 

免密码登录:其他用户更改root名称XXX

config-ssh-root.sh

#!/bin/sh

 

expect -c "

spawn ssh-keygen -t rsa

expect {

\".ssh/id_rsa): \" {send \"\r\";exp_continue }

\"Enter passphrase (empty for no passphrase): \" {send \"\r\";exp_continue }

\"Enter same passphrase again: \" {send \"\r\" }

}

expect eof

"

expect -c "

    spawn ssh-copy-id -i /root/.ssh/id_rsa.pub zk-master-la01

    expect {

        yes/no { send \"yes\r\"; exp_continue }

        *assword* { send \"pass@word1\r\" }

    }

    expect {

        *assword* { send \"pass@word1\r\" }

    }

expect eof

"

expect -c "

    spawn ssh-copy-id -i /root/.ssh/id_rsa.pub zk-master-la02

    expect {

        yes/no { send \"yes\r\"; exp_continue }

        *assword* { send \"pass@word1\r\" }

    }

    expect {

        *assword* { send \"pass@word1\r\" }

    }

expect eof

"

expect -c "

spawn ssh-copy-id -i /root/.ssh/id_rsa.pub zk-la03

expect {

yes/no { send \"yes\r\"; exp_continue }

*assword* { send \"pass@word1\r\" }

}

expect {

*assword* { send \"pass@word1\r\" }

}

expect eof

"

expect -c "

spawn ssh-copy-id -i /root/.ssh/id_rsa.pub nagios_server

expect {

yes/no { send \"yes\r\"; exp_continue }

*assword* { send \"pass@word1\r\" }

}

expect {

*assword* { send \"pass@word1\r\" }

}

expect eof

"

for slave in $(

do

#ecl=${EXPECT_CMD/remoteHost/$slave}

#echo $ecl

expect -c "

spawn ssh-copy-id -i /root/.ssh/id_rsa.pub $slave

expect {

yes/no { send \"yes\r\"; exp_continue }

*assword* { send \"pass@word1\r\" }

}

expect {

*assword* { send \"pass@word1\r\" }

}

"

done

 

1.2、zookeeper安装配置:

JDK1.8配置生效

tar -zxvf jdk-8u121-linux-x64.gz -C /usr/local/

 

vim /home/hadoop/.bash_profile

 

export JAVA_HOME=/usr/local/jdk1.8.0_121

export PATH=$PATH:$JAVA_HOME/bin

 

source /home/hadoop/.bash_profile

zk-master-la01节点操作

tar -zxvf zookeeper-3.4.61.tar.gz –C /usr/local/

cd /usr/local/zookeeper-3.4.6/conf

 

配置zookeerper文件:

vim zoo.cfg

 

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/opt/zookeeper/data

clientPort=2181

server.1=zk-master-la01:2888:3888

server.2=zk-master-la02:2888:3888

server.3=slave-01:2888:3888

 

#创建data数据目录

mkdir -p /opt/zookeeper/data/

echo "1" >> /opt/zookeeper/data/myid

#scp分别传输多台节点

vim host.txt

zk-master-la01

zk-master-la02

zk-la03

slave-01

slave-02

 

for i in `cat /root/host.txt`;do echo $i;scp -r /usr/local/zookeeper-3.4.5-cdh5.10.0 root@$i:/usr/local/zookeeper-3.4.5-cdh5.10.0 ;done

 

zk-master-la02操作

#注意改下myid 2

mkdir –p /opt/zookeeper/data/

echo "2" >> /opt/zookeeper/data/myid

 

zk-la03操作

#注意改下myid 3

mkdir -p /opt/zookeeper/data/

echo "3" >> /opt/zookeeper/data/myid

 

#zk-master-la01操作

/usr/local/zookeeper-3.4.6/bin/zkServer.sh start

/usr/local/zookeeper-3.4.6/bin/zkServer.sh stop

//usr/local/zookeeper-3.4.6/bin/zkServer.sh status

 

#zk-master-la02操作

/usr/local/zookeeper-3.4.6/bin/zkServer.sh start

 

#zk-la03操作

/usr/local/zookeeper-3.4.6/bin/zkServer.sh start

 

1.3、部署hadoop双机HA-namenode

hadoop解压到/usr目录

tar -zxvf hadoop-2.6.0-cdh5.7.5.tar.gz -C /usr/local/

 

cd /usr/local/hadoop-2.6.0-cdh5.7.5/etc/hadoop

编辑修改内容如下:

vim core-site.xml

 

fs.defaultFS

hdfs://ns

hadoop.tmp.dir

/opt/hadoop/temp

io.file.buffer.size

4096

ha.zookeeper.quorum

zk-master-la01:2181,zk-master-la02:2181,zk-la03:2181

hadoop.proxyuser.hive.hosts

*

hadoop.proxyuser.hive.groups

*

 

vim hdfs-site.xml

dfs.nameservices

ns

dfs.ha.namenodes.ns

namenode1,namenode2

dfs.namenode.rpc-address.ns.namenode1

zk-master-la01:8020

dfs.namenode.http-address.ns.namenode1

zk-master-la01:50070

dfs.namenode.rpc-address.ns.namenode2

zk-master-la02:8020

dfs.namenode.http-address.ns.namenode2

zk-master-la02:50070

    

        dfs.namenode.secondary.http-address

        zk-master-la01:50090

        

dfs.namenode.shared.edits.dir

qjournal://zk-la03:8485;zk-master-la02:8485;zk-master-la01:8485/ns

dfs.journalnode.edits.dir

/opt/hadoop/journal

dfs.ha.automatic-failover.enabled

true

dfs.client.failover.proxy.provider.ns

org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

dfs.ha.fencing.methods

sshfence

dfs.ha.fencing.ssh.private-key-files

/home/hadoop/.ssh/id_rsa

dfs.namenode.name.dir

file:/opt/hadoop/name

dfs.datanode.data.dir

file:/opt/hadoop/data

dfs.replication

2

dfs.webhdfs.enabled

true

 

Vim mapred-site.xml

 

mapreduce.framework.name

yarn

 

Vim yarn-site.xml

 

yarn.nodemanager.aux-services.mapreduce_shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

yarn.resourcemanager.ha.enabled

true

yarn.resourcemanager.cluster-id

yrc

yarn.resourcemanager.ha.rm-ids

rm1,rm2

yarn.resourcemanager.hostname.rm1

zk-master-la01

yarn.resourcemanager.hostname.rm2

zk-master-la02

yarn.resourcemanager.zk-address

zk-master-la01:2181,zk-master-la02:2181,zk-la03:2181

yarn.nodemanager.aux-services

mapreduce_shuffle

 

cat yarn-env.sh

#如果需要日志目录指定目录需手动更改env日志目录,默认不更改。

export JAVA_HOME=/usr/local/jdk1.8.0_121

export YARN_LOG_DIR=/var-logs/hadoop/logs

 

cat hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_121

export HADOOP_SSH_OPTS="-p 22"

export HADOOP_LOG_DIR=/var/hadoop/logs

export HADOOP_SECURE_DN_LOG_DIR=$HADOOP_LOG_DIR

 

Scp 分发节点

vim host.txt

zk-master-la01

zk-master-la02

zk-la03

slave-01

slave-02

 

for i in `cat /root/host.txt`;do echo $i;scp -r /usr/local/ hadoop-2.6.0-cdh5.7.5 root@$i:/usr/local/ hadoop-2.6.0-cdh5.7.5 ;done

 

hdfs启动命令

注意首次初始化启动命令和之后启动的命令是不同的,首次启动比较复杂,步骤不对的话就会报错,不过之后就好了

首次启动命令

1、首先启动各个节点的Zookeeper,在各个节点上执行以下命令:

bin/zkServer.sh start

2、在某一个namenode节点执行如下命令,创建命名空间

hdfs zkfc -formatZK

3、在每个journalnode节点用如下命令启动journalnode

sbin/hadoop-daemon.sh start journalnode

4、在主namenode节点用格式化namenode和journalnode目录

hdfs namenode -format ns

5、在主namenode节点启动namenode进程

sbin/hadoop-daemon.sh start namenode

6、在备namenode节点执行第一行命令,这个是把备namenode节点的目录格式化并把元数据从主namenode节点copy过来,并且这个命令不会把journalnode目录再格式化了!然后用第二个命令启动备namenode进程!

hdfs namenode -bootstrapStandby

sbin/hadoop-daemon.sh start namenode

7、在两个namenode节点都执行以下命令

sbin/hadoop-daemon.sh start zkfc

8、在所有datanode节点都执行以下命令启动datanode

sbin/hadoop-daemon.sh start datanode

9、在两个namenode节点都执行以下命令

yarn-daemon.sh start resourcemanager

10、在所有datanode节点都执行以下命令启动

yarn-daemon.sh start nodemanager

日常启停命令

sbin/start-dfs.sh

sbin/stop-dfs.sh

 

验证

首先在浏览器分别打开两个节点的namenode状态,其中一个显示active,另一个显示standby

HBASE双机集群HA-部署_第1张图片

HBASE双机集群HA-部署_第2张图片

然后在active所在的namenode节点执行jps,杀掉相应的namenode进程

HBASE双机集群HA-部署_第3张图片

前面standby所对应的namenode变成active

HBASE双机集群HA-部署_第4张图片

1.4、Hbase双机Hmaster安装

解压至安装目录下

tar -zxvf hbase-1.2.0-cdh5.7.5.tar.gz -C /usr/local/

chown -R hbase:hbase /usr/local/hbase-1.2.0-cdh5.7.5

编辑环境变量并使其生效

Note:这一步在 HBase 集群中的所有节点上都完成

vim /home/hadoop/.bash_profile

添加如下:

export JAVA_HOME=/usr/local/jdk1.8.0_121

export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/usr/local/hadoop-2.6.0-cdh5.7.5

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export zk=/usr/local/zookeeper-3.4.5-cdh5.7.5

export PATH=$PATH:$zk/bin

export HBASE_HOME=/usr/local/hbase-1.2.0-cdh5.7.5

export PATH=$PATH:$HBASE_HOME/bin

最后环境变量生效:

source /home/hadoop/.bash_profile

 

编辑配置更改内容

vim /usr/local/hbase-1.2.0-cdh5.7.5/conf/hbase-env.sh

添加如下:

export JAVA_HOME=/usr/local/jdk1.8.0_121

export HBASE_CLASSPATH=/usr/local/hadoop-2.6.0-cdh5.7.5/etc/hadoop

export HBASE_HEAPSIZE=4000

export HBASE_LOG_DIR=/var/hadoop/hbase/logs

export HBASE_MANAGES_ZK=false

 

其中JAVA_HOME 和 HBASE_CLASSPATH 根据实际情况进行配置

HBASE_HEAPSIZE 的大小根据你的集群配置,默认是 1000

HBASE_LOG_DIR 是 HBase 日志存放位置

HBASE_MANAGES_ZK=false 含义为 hbase 不托管 zookeeper 的启动与关闭,因为笔者的 ZooKeeper 是独立安装的

 

vim /usr/local/hbase-1.2.0-cdh5.7.5/conf/hbase-site.xml

 

hbase.rootdir

hdfs://ns:8020/hbase

 

hbase.cluster.distributed

true

 

hbase.master

60000

hbase.tmp.dir

/opt/hbase/data/hbase-tmp

 

hbase.zookeeper.quorum

zk-master-la01,zk-master-la02,zk-la03

 

hbase.zookeeper.property.dataDir

/opt/zookeeper/data

 

hbase.zookeeper.property.clientPort

2181

 

zookeeper.session.timeout

120000

 

hbase.regionserver.restart.on.zk.expire

true

 

 

配置 regionservers

在这里列出了希望运行的全部 Regionserver ,一行写一个主机名(就像 Hadoop 中的 slaves 一样)。这里列出的 Server 会随着集群的启动而启动,集群的停止而停止。

vim regionservers

添加如下:

Zk-la03

Slave-01

Slave-02

 

替换 Hadoop 的 jar 包使用如下命令:

cp /usr/local/hadoop-2.6.0-cdh5.7.5/share/hadoop/common/hadoop-common-2.6.0-cdh5.7.5.jar /usr/local/hbase-1.2.0-cdh5.7.5/lib/

 

移除 HBase 里面的不必要 log4j 的 jar 包

cd /usr/local/hbase-1.2.0-cdh5.7.5/lib/

mv slf4j-log4j12-1.7.5.jar slf4j-log4j12-1.7.5.jar.bak

如果不移除的话,将会出现以下 warning :

分发 HBase

chown -R hbase:hbase /usr/local/hbase-1.2.0-cdh5.7.5

 

vim host.txt

zk-master-la01

zk-master-la02

zk-la03

slave-01

slave-02

 

for i in `cat /root/host.txt`;do echo $i;scp -r /usr/local/ hbase-1.2.0-cdh5.7.5 root@$i:/usr/local/hbase-1.2.0-cdh5.7.5 ;done

 

多台创建日志和数据目录

mkdir -p /var/hadoop/hbase/logs

chown -R hadoop:hadoop /var/hadoop/hbase/logs

chown -R hadoop:hadoop /opt/hbase/data/

chown -R hadoop:hadoop /usr/local/hbase-1.2.0-cdh5.7.5/

 

su hdfs

cat hadoop-fs-hbase.sh

#!/bin/sh

echo 'hdfs fs -mkdir /hbase'

/usr/local/hadoop-2.6.0-cdh5.10.0/bin/hadoop fs -mkdir /hbase

/usr/local/hadoop-2.6.0-cdh5.10.0/bin/hadoop fs -chown hbase:hbase /hbase

 

启动并检验 HBase

 启动 HBase

友情提醒:在启动之前,笔者已经将 ZooKeeper 和 Hadoop (至少是 HDFS)给启动了。

1. 在其中一台主机上启动 Hmaster,即笔者在 master5 上,执行以下命令

start-hbase.sh

 在另一台 Hmaster 的主机上,即笔者在 master52 上,执行以下命令

hbase-daemon.sh start master

查看 master-la01上的日志

在其中一个 ZooKeeper 机子上,可以查看相应的 znode 点,例如在 slave-01 上执行

zkCli.sh

查看相应进程

 

HDFS 上 /hbase 目录

在 master-la01 上查看启动 HBase 后在 HDFS 上产的目录。该路径是由 hbase.rootdir 属性参数所决定的

hadoop fs -ls -R /hbase

 

HBASE双机集群HA-部署_第5张图片

 

验证

在浏览器上查看具体信息

Zk-master-la01:60010

HBASE双机集群HA-部署_第6张图片

Zk-master-la02HBASE双机集群HA-部署_第7张图片

模拟 master-la01 失效后 ,Hmaster 故障切换

HBASE双机集群HA-部署_第8张图片

补充:关闭集群 
Note:在关闭之前请确保 ZooKeeper 并没有关闭!

stop-hbase.sh

 

你可能感兴趣的:(hadoop大数据平台,hadoop大数据集群技术)