yarn集群搭建

yarn集群搭建

集群规划：
NN-1：Namenode（active）
NN-1：Namenode（standby）
DN ：Datanode
ZK：Zookeeper
ZKFC：Zookeeper Failover Controller
JUN：Journalnode
RS：ResourceManager
NM：NodeManager

服务器名称	进程
node01	NN-1、ZKFC、JUN 、RS
node02	NN-2、DN、ZK、ZKFC、JUN 、RS、NM
node03	DN、ZK、JUN、NM
node04	DN、ZK、NM

首先应当搭建一个高可用完全分布式HDFS，在此基础上搭建yarn集群，前几篇已经写过就不再赘述。

• 1.配置mapred-site.xml文件
  ①打开mapred-site.xml
  文件位于：/解压目录/etc/hadoop/mapred-site.xml
  ②修改配置文件

 
        mapreduce.framework.name
        yarn
  

• 2.配置yarn-site.xml文件

①打开mapred-site.xml
文件位于：/解压目录/etc/hadoop/yarn-site.xml
②修改配置文件

 
  yarn.nodemanager.aux-services
  mapreduce_shuffle
    

   yarn.resourcemanager.ha.enabled
   true
 
 
   yarn.resourcemanager.cluster-id
   cluster1
 
 
   yarn.resourcemanager.ha.rm-ids
   rm1,rm2
 
 
   yarn.resourcemanager.hostname.rm1
   node01
 
 
   yarn.resourcemanager.hostname.rm2
   node02
 
 
   yarn.resourcemanager.zk-address
   node02:2181,node03:2181,node04:2181
 

• 3.启动Zookeeper

——命令：zkServer.sh start

• 4.启动集群
  ——命令：start-dfs.sh
• 5.启动yarn
  ——命令：start-yarn.sh
• 6.在另一个几点单独启动另一个ResourceManager
  ——命令：yarn-daemon.sh start resourcemanager
• 7.执行计算
  ——命令：hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /input /output
  input:是hdfs文件系统中数据所在的目录
  ouput:是hdfs中不存在的目录，计算程序运行的结果会输出到该目录
  以上就是搭建完成了。

未完待续…