【Hadoop】如何启动和关闭Hadoop集群

启动Hadoop集群

参考官方文档Apache Hadoop 3.3.6 – Hadoop Cluster Setup

要启动 Hadoop 集群，需要同时启动 HDFS 和 YARN 集群。

• 首次启动 HDFS 时，必须对其进行格式化。将新的分布式文件系统格式化为 hdfs：

$HADOOP_HOME/bin/hdfs namenode -format

• 启动namenode和datanode有两种方法：

  • 若所有工作节点间都配置了可信访问，即免密访问。那么所有 HDFS 进程都可以通过实用程序脚本启动。该脚本只需在一个机器上执行就可以。

    $HADOOP_HOME/sbin/start-dfs.sh
    

  • 若没有配置可信访问，则需要在指定的结点上单独启动。

    #在namenode结点上启动namenode:
    $HADOOP_HOME/bin/hdfs --daemon start namenode
    #在datanode结点上启动datanode:
    $HADOOP_HOME/bin/hdfs --daemon start datanode
    

• 同理，启动YARN的ResourceManager 和NodeManager 以及WebAppProxy 也是两种方法：

  • $HADOOP_HOME/sbin/start-yarn.sh
    

  • #在指定结点上启动ResourceManager:
    $HADOOP_HOME/bin/yarn --daemon start resourcemanager
    #在指定结点上启动NodeManager :
    $HADOOP_HOME/bin/yarn --daemon start nodemanager
    #启动独立的 WebAppProxy 服务器。以 yarn 方式在 WebAppProxy 服务器上运行。如果使用多台服务器进行负载均衡，则应在每台服务器上运行
    $HADOOP_HOME/bin/yarn --daemon start proxyserver
    

---

关闭Hadoop集群

关闭和启动类似：

• 在一个机器上启动的：

  $HADOOP_HOME/sbin/stop-dfs.sh
  $HADOOP_HOME/sbin/stop-yarn.sh
  

• 在多个机器上都启动的：

  #在namenode结点上关闭namenode:
  $HADOOP_HOME/bin/hdfs --daemon stop namenode
  #在datanode结点上关闭datanode:
  $HADOOP_HOME/bin/hdfs --daemon stop datanode
  #在指定结点上关闭ResourceManager:
  $HADOOP_HOME/bin/yarn --daemon stop resourcemanager
  #在指定结点上关闭NodeManager :
  $HADOOP_HOME/bin/yarn --daemon stop nodemanager
  #关闭独立的 WebAppProxy 服务器:
  $HADOOP_HOME/bin/yarn --daemon stop proxyserver