启动Hadoop集群

有两种方式启动集群:分步启动和集中统一启动。

以下执行环境是在一个有2个节点的集群当中,namenode:sparkmaster,datanode:sparkmaster和sparkworker1

在namenode上统一启动整个集群的方法
首先,要在$YARN_HOME/etc/hadoop/下新建几个文件:1.slaves,里面写上全部的datanode的hostname;2. allnodes,里面写上整个集群的hostname
在namenode上
[ root@sparkmaster sbin]# pwd
/opt/hadoop-2.6.0/sbin
[ root@sparkmaster sbin]# ./start-dfs.sh   <--启动NameNode/SecondaryNode进程,以及整个集群的DataNode进程
[ root@sparkmaster sbin]# ./yarn-daemon.sh start resourcemanager
[ root@sparkmaster sbin]# ./yarn-daemons.sh --hosts allnodes start nodemanager
可以在每启动一步之后运行jps看是启动了哪些进程。运行完上述命令之后,整个集群就启动了,打开 http://sparkmaster:8088/cluster/nodes可以看到node情况;打开 http://sparkmaster:50070可以监控整个集群包括hdfs

分步启动
首先,在namenode上启动dfs,nodemanager和resourcemanager
[ root@sparkmaster sbin]# pwd
/opt/hadoop-2.6.0/sbin
  1. 启动dfs。[root@sparkmaster sbin]# ./start-dfs.sh   <--启动NameNode,SecondaryNameNode,DataNode
  2. 启动nodemanager。[root@sparkmaster sbin]# ./yarn-daemon.sh start nodemanager
  3. 启动resourcemanager。[root@sparkmaster sbin]# ./yarn-daemon.sh start resourcemanager
查看是否都启动成功:
[ root@sparkmaster sbin]# jps
3221 NodeManager
2767 NameNode
3784 Jps
3560 ResourceManager
3063 SecondaryNameNode
2859 DataNode
[ root@sparkmaster sbin]# pwd
/opt/hadoop-2.6.0/sbin
然后,登陆每一台datanode,启动nodemanager和datanode
  1. [root@sparkworker1 sbin]# ./yarn-daemon.sh start nodemanager
  2. [ root@sparkworker1 sbin]# ./hadoop-daemon.sh --script hdfs start datanode

namenode界面: http://namenode:50070  通过访问此页面,可以查看cluster相关情况,点击 Browse the filesystem可以查看hdfs上面的文件和文件夹具体情况
查看cluster里面所有node界面: http://namenode:8088/cluster/nodes,如果在这个界面看不到node,则可能nodemanager没有启动,登陆相应node,执行yarn-daemon.sh start nodemanager
resource manager界面: http://namenode:8088/cluster

你可能感兴趣的:(hadoop)