Hadoop完全高可用集群启动顺序

总结一下:完全高可用的hadoop集群主要包含两部分,HDFS的高可用,Yarn的高可用

HDFS高可用启动顺序主要分为以下几步:

  1. 第一步、启动所有journalNode进程,用来存之后namenode的元数据
  2. 第二步、格式化主namenode,并启动主namenode进程
  3. 第三步、将主namenode上的元数据信息复制到从的namenode所在节点
  4. 第四步、在主namenode上格式化ZKFC,只需要在主namenode上进行即可,原因后面有解释
  5. 第五步、停掉所有Journalnode进程和主namenode
  6. 第六步、使用start-dfs.sh脚本一次性启动所有HDFS的进程

Yarn高可用启动顺序主要分以下几步:

  1. 第一步:直接在主的ResourceManager上利用start-yarn.sh脚本启动yarn集群
  2. 第二步:在从的ResourceManager上手动启动从resourcemanager进程

HDFS集群启动顺序:

一、首先启动所有的jouranlnode 进程

通过hadoop-daemons.sh start journalnode读取slaves文件中的内容,启动里面的所有主机上的journalnode进程 ,或者你自己跑到每一台journalnode所在主机上去手动启动也可以,尽量将journalnode与datanode部署相同的服务器上。最先启动journalnode进程的目的就是为了之后存放namenode的元数据奠定基础,所以journalnode一定要在namenode之前启动。

Hadoop完全高可用集群启动顺序_第1张图片

Hadoop完全高可用集群启动顺序_第2张图片

二、格式化主namenode

Hadoop完全高可用集群启动顺序_第3张图片

Hadoop完全高可用集群启动顺序_第4张图片

先启动master上的主namenode,因为只有启动主namenode进程后,才能将其元数据复制到备的namenode上,使用hadoop-daemon.sh脚本手动启动主namenode。

Hadoop完全高可用集群启动顺序_第5张图片

三、同步主namenode (master)上的信息到备namenode上(slave1)

Hadoop完全高可用集群启动顺序_第6张图片

四、只在主namenode上格式化zkfc,只是为了连接上zookeeper集群,然后在zookeeper集群上面创建一个znode节点: /hadooop-ha/ns1,所以在哪里格式化zkfc其实不并重要,重要的是在zookeeper集群上创建znode。

Hadoop完全高可用集群启动顺序_第7张图片

Hadoop完全高可用集群启动顺序_第8张图片

Hadoop完全高可用集群启动顺序_第9张图片

五、先停掉master上的主namenode进程和所有的journalnode,之后会通过start-dfs.sh脚本一次性重启所有进程

Hadoop完全高可用集群启动顺序_第10张图片

[root @master hadoop-2.6.5]# hadoop-daemons.sh stop journalnode

六、然后在master上执行dfs-start.sh

===== 最重要的一步 ===================

Hadoop完全高可用集群启动顺序_第11张图片

启动后结果如下:

Hadoop完全高可用集群启动顺序_第12张图片Hadoop完全高可用集群启动顺序_第13张图片

Hadoop完全高可用集群启动顺序_第14张图片

最后访问通过http://ip:50070访问web界面:

Hadoop完全高可用集群启动顺序_第15张图片

Hadoop完全高可用集群启动顺序_第16张图片

接下来启动yarn集群

一、在master节点上启动yarn集群 , start-yarn.sh

Hadoop完全高可用集群启动顺序_第17张图片

二、在slave1节点上手动启动备的ResourceManager

结果如下:

Hadoop完全高可用集群启动顺序_第18张图片 Hadoop完全高可用集群启动顺序_第19张图片

Hadoop完全高可用集群启动顺序_第20张图片

最后通过http://ip:8088端口查看yarn的web界面:

Hadoop完全高可用集群启动顺序_第21张图片

Hadoop完全高可用集群启动顺序_第22张图片

你可能感兴趣的:(大数据)