hadoop集群多namenode配置

多namenode配置

规划：

bigdata01.com           bigdata02.com           bigdata03.com
namenode            namenode
datanode            datanode            datanode

两个HDFS集群联盟

部署：
在[bigdata01]
$ cp -ra cluster-hadoop-2.5.0/ hadoop-2.5.0

第一台，

fs.defaultFS

hdfs://node-1:8020

hadoop.tmp.dir

/opt/modules/hadoop-2.5.0-cdh5.3.6/data

第二台

fs.defaultFS

hdfs://node-2:8020

hadoop.tmp.dir

/opt/modules/hadoop-2.5.0-cdh5.3.6/data

/第三台机器
core-site.xml:

hadoop.tmp.dir
/opt/modules/hadoop-2.5.0-cdh5.3.6/data

yarn-site.xml:
之前集群配置
mapred-site.xml:
之前集群配置
hdfs-site.xml:

dfs.replication
3


dfs.permissions.enabled
false


dfs.nameservices
ns1,ns2


dfs.namenode.rpc-address.ns1
bigdata01.com:8020


dfs.namenode.http-address.ns1
bigdata01.com:50070


dfs.namenode.rpc-address.ns2
bigdata02.com:8020


dfs.namenode.http-address.ns2
bigdata02.com:50070

拷贝配置文件给02、03两台集群
scpetc/hadoop/hdfs−site.xmletc/hadoop/core−site.xmletc/hadoop/yarn−site.xmletc/hadoop/mapred−site.xmlnode1:/opt/modules/hadoop−2.5.0−cdh5.3.6/etc/hadoop/ s c p e t c / h a d o o p / h d f s − s i t e . x m l e t c / h a d o o p / c o r e − s i t e . x m l e t c / h a d o o p / y a r n − s i t e . x m l e t c / h a d o o p / m a p r e d − s i t e . x m l n o d e 1 : / o p t / m o d u l e s / h a d o o p − 2.5.0 − c d h 5.3.6 / e t c / h a d o o p / scp etc/hadoop/hdfs-site.xml etc/hadoop/core-site.xml etc/hadoop/yarn-site.xml etc/hadoop/mapred-site.xml node2:/opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop/

在每个NameNode节点格式化NameNode，命令
bigdata01.com：
bigdata02.com：
$ bin/hdfs namenode -format -clusterId hdfs-cluster

每个NameNode 节点启动NameNode，命令
sbin/start−dfs.sh s b i n / s t a r t − d f s . s h sbin/start-yarn.sh
$ sbin/yarn-daemon.sh start resourcemanager

测试：
–创建目录（defaultFS没有配置使用全路径 [bin/hdfs dfs -mkdir hdfs://master:8020/input]），观察是传到哪个hdfs集群

功能：
** 把一个HDFS集群的数据拷贝到另外一个HDFS集群
应用：
** 集群迁移
** 数据迁移v

例子：
$ bin/hadoop distcp hdfs://master01:8020/input/wc.txt hdfs://slave01:8020/input/
$ bin/hadoop distcp hdfs://master:8020/input/emp.txt hdfs://node1:8020/input000