Hadoop环境搭建、启动和管理界面查看

一、hadoop环境搭建:

1. hadoop 6个核心配置文件的作用:
core-site.xml:核心配置文件,主要定义了我们文件访问的格式 hdfs://
hadoop-env.sh:主要配置我们的java路径
hdfs-site.xml:主要定义配置我们的hdfs的相关配置
mapred-site.xml 主要定义我们的mapreduce相关的一些配置
slaves:控制我们的从节点在哪里,datanode nodemanager在哪些机器上
yarn-site.xml:配置我们的resourcemanager资源调度

 

二、hadoop启动:

前提:完全分布式环境下:

 

192.168.1.100

192.168.1.110

192.168.1.120

zookeeper

zk

zk

zk

HDFS

JournalNode

JournalNode

JournalNode

NameNode

NameNode

 

ZKFC

ZKFC

 

DataNode

DataNode

DataNode

YARN

 

ResourceManager

ResourceManager

NodeManager

NodeManager

NodeManager

MapReduce

 

 

JobHistoryServer

1.三台机器上都执行该命令,启动zk:zkServer.sh start

2.启动HDFS过程

node01上执行:

cd   /export/servers/hadoop-2.7.5

bin/hdfs zkfc -formatZK

sbin/hadoop-daemons.sh start journalnode

bin/hdfs namenode -format

bin/hdfs namenode -initializeSharedEdits -force

sbin/start-dfs.sh

node02上面执行:

cd   /export/servers/hadoop-2.7.5

bin/hdfs namenode -bootstrapStandby

sbin/hadoop-daemon.sh start namenode

3.启动yarn过程

node03上面执行:

cd   /export/servers/hadoop-2.7.5

sbin/start-yarn.sh

node02上执行:

cd   /export/servers/hadoop-2.7.5

sbin/start-yarn.sh

查看resourceManager状态

node03上面执行

cd   /export/servers/hadoop-2.7.5

bin/yarn rmadmin -getServiceState rm1

node02上面执行:

cd   /export/servers/hadoop-2.7.5

bin/yarn rmadmin -getServiceState rm2

node03启动jobHistory

node03机器执行以下命令启动jobHistory

cd /export/servers/hadoop-2.7.5

sbin/mr-jobhistory-daemon.sh start historyserver

停止hadoop

cd /export/servers/hadoop-2.7.5

sbin/stop-dfs.sh

sbin/stop-yarn.sh

sbin/mr-jobhistory-daemon.sh stop historyserver

sbin/hadoop-daemon.sh stop journalnode

注意:

1.bin/hdfs namenode -format该命令仅执行一次,以后尽量不要执行,因为一执行,则所有数据都丢失!

2.hadoop完全分布式环境下,hadoop启动前,必须在三台机器上都启动ZK。

3.sbin/hadoop-daemons.sh [ start | stop ] journalnode 一次同时启动/停止所有机器,sbin/hadoop-daemon.sh [ start | stop ] journalnode 一次只能启动/停止一台机器(当前机器)

 

三、hadoop管理界面查看:

http://192.168.52.100:50070/dfshealth.html#tab-overview  查看hdfs

http://node01:8088/cluster 查看yarn集群
http://node01:19888/jobhistory 查看历史完成的任务
 

转载于:https://www.cnblogs.com/mediocreWorld/p/10940357.html

你可能感兴趣的:(Hadoop环境搭建、启动和管理界面查看)