hadoop集群启动步骤(已配置hdfs ha,yarn ha,hive单节点(hadoop01),mysql等)

1.启动mysql(作为hive的数据库,没有的话可以不用启动)

执行service mysql start

验证service mysql status

2.启动hdfs ha集群

(1)启动zookeeper

启动 (每个节点都要执行)zkServer.sh start

验证 是否启动成功(每个节点都要执行)zkServer.sh status

hadoop集群启动步骤(已配置hdfs ha,yarn ha,hive单节点(hadoop01),mysql等)_第1张图片

hadoop集群启动步骤(已配置hdfs ha,yarn ha,hive单节点(hadoop01),mysql等)_第2张图片

hadoop集群启动步骤(已配置hdfs ha,yarn ha,hive单节点(hadoop01),mysql等)_第3张图片

(2)启动journalnode服务(单个启动、多个进程启动)

./sbin/hadoop-daemon.sh start journalnode

hadoop01  ./sbin/hadoop-daemons.sh start journalnode

(3)挑选两个namenode之中的一台来格式化,然后并且启动

hadoop01  hdfs namenode -format

                  hadoop-daemon.sh start namenode

(4)在另外一台namenode的机子上拉取元数据(也可以使用复制)

hadoop02     hdfs namenode -bootstrapStandby

(5)格式化zkfc

hadoop01  hdfs zkfc -formatZK

hadoop集群启动步骤(已配置hdfs ha,yarn ha,hive单节点(hadoop01),mysql等)_第4张图片


(6)hadoop01上执行start-dfs.sh

hadoop集群启动步骤(已配置hdfs ha,yarn ha,hive单节点(hadoop01),mysql等)_第5张图片


(7)验证

①对应进程是否启动

hadoop01:hadoop集群启动步骤(已配置hdfs ha,yarn ha,hive单节点(hadoop01),mysql等)_第6张图片hadoop02:hadoop集群启动步骤(已配置hdfs ha,yarn ha,hive单节点(hadoop01),mysql等)_第7张图片hadoop03:

②web ui是否正常

hadoop02节点处于工作状态

hadoop集群启动步骤(已配置hdfs ha,yarn ha,hive单节点(hadoop01),mysql等)_第8张图片

hadoop01节点处于standby状态

hadoop集群启动步骤(已配置hdfs ha,yarn ha,hive单节点(hadoop01),mysql等)_第9张图片

③hdfs读文件(必须在工作状态的节点上)

hadoop集群启动步骤(已配置hdfs ha,yarn ha,hive单节点(hadoop01),mysql等)_第10张图片

④关闭active的节点,测试standby节点是否正常

hadoop02节点:

hadoop集群启动步骤(已配置hdfs ha,yarn ha,hive单节点(hadoop01),mysql等)_第11张图片

hadoop01节点:

hadoop集群启动步骤(已配置hdfs ha,yarn ha,hive单节点(hadoop01),mysql等)_第12张图片

3.启动yarn ha集群

①hadoop01启动start-yarn.sh

hadoop集群启动步骤(已配置hdfs ha,yarn ha,hive单节点(hadoop01),mysql等)_第13张图片

②hadoop02手动启动ResourceManager   yarn-daemon.sh start resourceManager

hadoop集群启动步骤(已配置hdfs ha,yarn ha,hive单节点(hadoop01),mysql等)_第14张图片

③验证测试

web ui界面

hadoop01  active:

hadoop集群启动步骤(已配置hdfs ha,yarn ha,hive单节点(hadoop01),mysql等)_第15张图片

hadoop02  standby:

hadoop集群启动步骤(已配置hdfs ha,yarn ha,hive单节点(hadoop01),mysql等)_第16张图片

这样就成功启动。

启动过程中可能会出现refuse connection,可以尝试关闭虚拟机的防火墙等。


你可能感兴趣的:(虚拟机,linux,hadoop)