hadoop集群配置-总结

[TOC]

hadoop 集群

hadoop3.2 分为 单点,集群 ,伪集群

hadoop 配置

hadoop /etc/hadoop/ 下的xml 配置

环境变量的配置

hadoop 安全模式

用户可以通过 hdfs dfsadmin -safemode value 来操作安全模式,参数value的说明如下:

  • enter - 进入安全模式

  • leave - 强制NameNode离开安全模式

  • get - 返回安全模式是否开启的信息

  • wait - 等待,一直到安全模式结束。

hadoop datanode

在3.2中 hdfs namenode -format 后,启动start-all.shjps 查看没有 datanode ,需要使用

hdfs 命令 hdfs datanode 启动

hadoop 3.2 页面访问

  • http://:8088

  • http://:9870

hadoop 2.7

  • http://:50070

  • http://:9870

同步时间

apt-get install ntp
ntpdate 192.168.1.159

启动

  • 在regionServer上 ./hbase-daemon.sh start regionserver

  • 在master上执行 ./bin/hbase-daemon.sh start master

  • hdfs datanode

hadoop 单节点启动 yarn NodeManageer (处理wordcount)

1.单个节点操作

  • 启动|停止单个节点

    hdfs --daemon start|stop datanode
    
    hdfs --daemon start|stop namenode
    
  • 启动|停止单个节点的NodeManageer

    yarn --daemon start nodemanager
    
    yarn --daemon stop  nodemanager
    
  • 启动|停止ResourceManager

    yarn --daemon start resourcemanager
    
    yarn --daemon stop resourcemanager
    

2.集群操作

start|stop-dfs.sh 在master上使用,否则只会停掉该台机器的datanode(namenode)

start|stop-yarn.sh(会停掉ResourceManager与NodeManager)在配置ResourceManager的机器上使用,否则只会停止该台机器上的NodeManager

start|stop-all.sh(不建议对集群使用)

wordcount

1.yarn-site.xml mapred-site.xml 内存修改

2.启动 NodeManageer resourcemanager

37开 - 原创文章(已经在多平台发表),转载请标明出处

原文地址-99get81.com

你可能感兴趣的:(hadoop集群配置-总结)