大数据——配置并启动集群/开启历史服务器和日志聚集

这篇文章对Hadoop进行配置，修改配置文件，启动并测试集群。开去历史服务器以及日志聚集。

部署规划#

	hadoop102	hadoop103	hadoop104
HDFS	NameNode、DataNode	DataNode	SencondNameNode、DataNode
YARN	NodeManager	ResourceManager、NodeManager	NodeManager

• NameNode和SecondNameNode不要安装在同一台服务器上
• ResourceManager也很消耗内存，不要和NameNode、SecondNameNode配置在同一台机器上

配置文件#

1、默认配置文件

默认配置文件可在对应的jar包中找到

配置文件	配置文件位置
core-default.xml	hadoop-common-3.1.3.jar/core-default.xml
hdf-default.xml	hadoop-hdfs-3.1.3.jar/hdfs-default.xml
yarn-default.xml	hadoop-yarn-common-3.1.3.jar/yarn-default.xml
mapred-default.xml	hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

2、自定义配置文件

在$HADOOP_HOME/etc/hadoop中

文章使用的时/opt/module/hadoop-3.1.3/etc/hadoop

配置集群#

所有操作在swcode用户进行，非root

在hadoop102上配置#

1、核心配置文件：core-site.xml

vim /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

内容如下

    
    
        fs.defaultFS
        hdfs://hadoop102:8020
    
    
    
        hadoop.tmp.dir
        /opt/module/hadoop-3.1.3/data
    
    
    
        hadoop.http.staticuser.user
        swcode
    

2、HDFS配置文件：hdfs-site.xml

vim /opt/module/hadoop-3.1.3/etc/hadoop/hdfs-site.xml

内容如下

    
    
        dfs.namenode.http-address
        hadoop102:9870
    
    
    
        dfs.namenode.secondary.http-address
        hadoop104:9868
    

3、YARN配置文件：yarn-site.xml

vim /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml

内容如下

    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
    
        yarn.resourcemanager.hostname
        hadoop103
    
    
    
        yarn.nodemanager.env-whitelist
        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_HOME,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
    

4、MapReduce配置文件：mapred-site.xml

vim /opt/module/hadoop-3.1.3/etc/hadoop/mapred-site.xml

内容如下

    
    
        mapreduce.framework.name
        yarn
    

分发配置文件#

xsync是自定义的sync脚本

xsync /opt/module/hadoop-3.1.3/etc/hadoop/

启动集群#

1、配置workers

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

新增一下内容，内容结尾不允许空格，文件中不允许出现空行

hadoop102
hadoop103
hadoop104

像下面这样

2、分发workers

xsync /opt/module/hadoop-3.1.3/etc/hadoop/workers

3、第一次启动初始化（hadoop102）

hdfs namenode -format

/opt/module/hadoop-3.1.3会多出两个文件夹：/data和/logs

4、启动HDFS（hadoop102）

start-dfs.sh

启动成功后，每台主机分别运行下面代码，检查一下

jps

根据规划的部署，应该和下面一样

• hadoop102：Jps、DataNode、NameNode
• hadoop103：DataNode、Jps
• hadoop104：SecondaryNameNode、Jps

查看Web页面：http://192.168.10.102:9870/

5、启动YARN

来到配置了ResourceManager的节点（hadoop103）

start-yarn.sh

对照部署规划，一样就说明成功了~

查看YARN资源调度页面：http:192.168.10.103:8088

测试集群#

1、上传文件到HDFS（hadoop102上）

# 创建目录
hadoop fs -mkdir /wcinput
# 上传文件
hadoop fs -put /opt/module/hadoop-3.1.3/wcinput/words.txt /wcinput

words.txt是之前使用wordcount做的小案例

查看效果：Browsing HDFS

2、再次运行wordcount案例

# 来到 hadoop 安装目录
cd /opt/module/hadoop-1.3.1/
# 执行
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput

来到YARN资源调度页面：http:192.168.10.103:8088

可以看到一条资源调度记录

查看效果：Browsing HDFS

配置历史服务器#

1、配置mapred-site.xml（在hadoop102上配置）

vim /opt/module/hadoop-3.1.3/etc/hadoop/mapred-site.xml

增加配置文件

    mapreduce.jobhistory.address
    hadoop102:10020



    mapreduce.jobhistory.webapp.address
    hadoop102:19888

2、分发配置

xsync /opt/module/hadoop-3.1.3/etc/hadoop/mapred-site.xml

3、在hadoop102中启动历史服务器

mapred --daemon start historyserver

需要重启yarn，在hadoop103中重启yarn（本文的yarn配置在hadoop103中）

stop-yarn.sh
start-yarn.sh

4、查看历史服务器是否启动

[swcode@hadoop102 ~]$ jps
123607 DataNode
123403 NameNode
127613 JobHistoryServer
127773 Jps
125615 NodeManager

配置日志聚集#

1、修改yarn-site.xml

vim /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml

增加如下内容

    yarn.log-aggregation-enable
    true



    yarn.log.server.url
    http://hadoop102:19888/jobhistory/logs



    yarn.log-aggregation.retain-seconds
    604800

2、分发配置

xsync /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml

3、在hadoop102中停止历史服务器

mapred --daemon stop historyserver

4、在hadoop103中重启yarn

stop-yarn.sh
start-yarn.sh

5、在hadoop102中停启动历史服务器

mapred --daemon start historyserver

4、在hadoop103中重启yarn