Hadoop集群搭建(五)-集群配置文件

目录

集群部署规划

自定义配置文件

节点格式化 

配置workers 

启动集群 

配置历史服务器

---

 

集群部署规划

	hadoop102	hadoop103	hadoop104
HDFS	NameNode	DataNode	SecondaryNameNode NataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

自定义配置文件

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，可以根据项目需求重新进行修改配置

​

修改配置文件，可以拷贝到windows下修改完成后覆盖

1、核心配置文件 core-site.xml

 
    
        fs.defaultFS
        hdfs://hadoop102:8020
    

    
    
        hadoop.tmp.dir
        /opt/module/hadoop-3.2.1/data
    

    
    
        hadoop.http.staticuser.user
        root
    

2、HDFS配置文件 hdfs-site.xml

	
        dfs.namenode.http-address
        hadoop102:9870
    
	
    
        dfs.namenode.secondary.http-address
        hadoop104:9868
    

3、YARN配置文件 yarn-site.xml

    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

    
    
        yarn.resourcemanager.hostname
        hadoop103
    

    
    
        yarn.nodemanager.env-whitelist
        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
    

4、MapReduce配置文件 mapred-site.xml

    
        mapreduce.framework.name
        yarn
    

在集群上分发配置好的Hadoop配置文件

利用之前编写好的xsync脚本进行分发

xsync /opt/module/hadoop-3.2.1/etc/hadoop/

查看文件分发情况

分别在hadoop103、hadoop104执行命令，查看配置文件内容

cat /opt/module/hadoop-3.2.1/etc/hadoop/core-site.xml
cat /opt/module/hadoop-3.2.1/etc/hadoop/hdfs-site.xml
cat /opt/module/hadoop-3.2.1/etc/hadoop/yarn-site.xml
cat /opt/module/hadoop-3.2.1/etc/hadoop/mapred-site.xml

节点格式化 

第一次启动集群需要在hadoop102节点执行 hdfs namenode -format 格式化NameNode

​

配置workers 

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行

使用root用户启动HDFS需要注意：

启动前还需要在hadoop-evn.sh文件中添加一些内容

文件路径： /opt/module/hadoop-3.2.1/etc/hadoop/hadoop-env.sh

export HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export HDFS_SECONDARYNAMENODE_USER="root"
export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"

每台虚拟机的文件中都要添加

启动集群 

启动HDFS sbin/start-dfs.sh

​

在配置了ResourceManager的节点（hadoop103）启动YARN sbin/start-yarn.sh

​

Web端查看HDFS的NameNode 

• 浏览器输入 http://hadoop102:9870

Web端查看YARN的ResourceManager 

•  浏览器输入 http://hadoop103:8088

配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器

在mapred-site.xml中增加下面的内容

    mapreduce.jobhistory.address
    hadoop102:10020




    mapreduce.jobhistory.webapp.address
    hadoop102:19888

执行命令分发配置 xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

在hadoop102启动历史服务器

执行命令 mapred --daemon start historyserver

​

 浏览器输入 http://hadoop102:19888/jobhistory 查看JobHistory