学习大数据技术依赖于大数据环境,搭建一个大数据环境是学习大数据很重要的一部分,话不多说,现在我们来搭建一个hadoop3.1.1高可用完全分布式环境
export JAVA_HOME=/bigdata/hadoop/tools/jdk8
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin
export JAVA_HOME=/bigdata/hadoop/tools/jdk8
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_ZKFC_USER=root
export HDFS_JOURNALNODE_USER=root
fs.defaultFS
hdfs://mycluster
hadoop.tmp.dir
/bigdata/hadoop/ha
hadoop.http.staticuser.user
root
ha.zookeeper.quorum
node02:2181,node03:2181,node04:2181
dfs.replication
2
dfs.nameservices
mycluster
dfs.ha.namenodes.mycluster
nn1,nn2
dfs.namenode.rpc-address.mycluster.nn1
node01:8020
dfs.namenode.rpc-address.mycluster.nn2
node02:8020
dfs.namenode.http-address.mycluster.nn1
node01:9870
dfs.namenode.http-address.mycluster.nn2
node02:9870
dfs.namenode.shared.edits.dir
qjournal://node01:8485;node02:8485;node03:8485/mycluster
dfs.client.failover.proxy.provider.mycluster
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
dfs.ha.fencing.methods
sshfence
dfs.ha.fencing.ssh.private-key-files
/root/.ssh/id_rsa
dfs.journalnode.edits.dir
/bigdata/hadoop/ha/journalnode
dfs.ha.automatic-failover.enabled
true
6.实现各机器之间免密登录
(1)在node01机器上,进入~/.ssh目录,输入命令:ssh-keygen -t rsa,然后一直输入回车键
(2)在node02机器上,输入命令:ssh-keygen,然后一直输入回车键
(3)在node03机器上进入root用户,输入命令:ssh-keygen,然后一直输入回车键
(4)在node01机器上输入命令:ssh-copy-id -i node01,然后输入对应密码,再输入ssh-copy-id -i node02,输入对应密码,然后输入命令:ssh-copy-id -i node03
(5)在node02机器上输入命令:ssh-copy-id -i node01,然后输入对应密码,再输入ssh-copy-id -i node02,输入对应密码,然后输入命令:ssh-copy-id -i node03;
(6)在node03机器上输入命令:ssh-copy-id -i node01,然后输入对应密码,再输入ssh-copy-id -i node02,输入对应密码,然后输入命令:ssh-copy-id -i node03
(7)在机器node01中,输入命令:ssh node02即可免密登录机器node02,输入命令:ssh node03即可免密登录机器node03
(8)注意 .ssh目录的权限必须是700, .ssh/authorized_keys文件权限必须是600
7.然后开始远程传输
scp -r hadoop-3.1.1/ node01:/bigdata/hadoop/tools/hadoop-3.1.1
scp -r hadoop-3.1.1/ node02:/bigdata/hadoop/tools/hadoop-3.1.1
scp -r hadoop-3.1.1/ node03:/bigdata/hadoop/tools/hadoop-3.1.1
scp -r hadoop-3.1.1/ node04:/bigdata/hadoop/tools/hadoop-3.1.1
8.配置hadoop的环境变量
Vi + /etc/profile
export HADOOP_HOME=/bigdata/hadoop/tools/hadoop-3.1.1
export PATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
远程将/etc/profile文件发送给其它机器
scp /etc/profile node02:/etc/
scp /etc/profile node03:/etc/
scp /etc/profile node04:/etc/
source /etc/profile
9.格式化hdfs
hdfs namenode -format
10.启动hdfs
start-dfs.sh,ss -nal 查看监听端口
11.关闭hdfs
stop-dfs.sh
12.在node02,node03,node04上添加zookeeper
(1)下载zookeeper-3.4.13.tar.gz
(2)解压 tar -zxvf zookeeper-3.4.13.tar.gz -C /bigdata/hadoop/tools/
(3)配置zookeeper的环境变量
Vi + /etc/profile
export ZOOKEEPER_HOME=/bigdata/hadoop/tools/zookeeper-3.4.13
export PATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZOOKEEPER_HOME}/bin
(4)将/etc/profile文件分发到node03,node04
scp /etc/profile node03:/etc/ 分发后source /etc/profile
(5)修改zookeeper的conf目录
Cd conf目录,mv zoo_sample.cfg zoo.cfg (如果不修改zookeeper读不到这个配置)
修改 vi + zoo.cg
修改1.dataDir=/bigdata/hadoop/zk
新增2.
server.1=node02:2888:3888 server.2=node03:2888:3888 server.3 =node04:2888:3888
(6)将zookeeper文件分发到node03,node04
scp -r zookeeper-3.4.13/ node04:`pwd`
(7)在node02,node03,node04中创建文件夹,路径为dataDir=/bigdata/hadoop/zk
mkdir -p /bigdata/hadoop/zk
然后向改路径下的myid文件中追加内容
echo 1 > /bigdata/hadoop/zk/myid
cat /bigdata/hadoop/zk/myid
同理node03,node04做同样的操作,但是node03要追加2,node04要追加3,要与server.1,2,3对应
(8)将node02,node03,node04节点的zookeeper启动
命令: zkServer.sh start,使用zkServer.sh status查看启动状态,当看到leader,follow信息的时候说明配置成功了,停止zookeeper, zkServer.sh stop,连接客户端可以使用zkCli.sh命令,查询根目录下的文件ls /
13.启动JournalNode ,分布在node01,node02,node03
hdfs --daemon start journalnode,(停止命令是hdfs --daemon stop journalnode )
14.格式化node01(注意只能选node01或者node02格式化)
hdfs namenode -format
15.启动namenode
hadoop-daemon.sh start namenode或者hdfs --daemon start namenode
然后在node02服务器上执行命令进行namenode数据同步,hdfs namenode -bootstrapStandby
如果clusterId相同,说明同步成功了
16.在node01节点上将zookeeper进行格式化
hdfs zkfc -formatZK
17.在node01上启动hdfs
start-dfs.sh,然后可以输入node01:9870/node02:9870查看hdfs的图形化界面
测试高可用
1.先停止node01上节点的namenode,命令:hdfs --daemon stop namenode,然后再访问node02,node02上的namenode变成了active,然后重新启动node01上的namenode,node02仍然是namenode(active)
2.停止node02上面的zkfc,命令:hdfs --daemon stop zkfc,结果node01变成了active,node02变成了standby,开启zkfc命令,hdfs --daemon start zkfc
希望对大家有帮助,有不足的地方欢迎指出