启动YARN并运行MapReduce程序

YARN是主要负责资源调度。之前已经搭建好了Hadoop集群，接下来在集群上启动YARN。

---

1. 配置YARN并启动

1. 配置集群

1.1 配置yarn-env.sh文件

export JAVA_HOME=你的jkd安装路径

1.2 配置yarn-site.xml文件

    yarn.nodemanager.aux-services
    mapreduce_shuffle

 


    yarn.resourcemanager.hostname
    腾讯云服务器的内网ip

1.3 配置mapred-env.sh文件

export JAVA_HOME=你的jkd安装路径

1.4 将mapred-sit.xml.template重新命名为mapred-site.xml并配置

    mapreduce.framework.name
    yarn

2. 启动集群

2.1 启动前必须保证NameNode和DataNode已经启动
2.2 启动ResourceManager
$ sbin/yarn-daemon.sh start resourcemanager
2.3 启动NodeManager
$ sbin/yarn-daemon.sh start nodemanager

3. 查看启动结果

3.1 使用jps查看ResourceManager和NodeManager是否启动

3.2 在浏览器中输入腾讯云公网IP:8088进行查看，如果出现以下界面表示启动成功：

---

2. 在YARN上运行MapReduce程序

1. 删除HDFS上的outptu目录

$ bin/hdfs dfs -rm -r /user/hadoop1/output

2. 运行WordCount案例

$ sbin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-x.x.x.jar wrodcount /user/hadoop1/input /user/hadoop1/output

3. 在刚才打开的页面中查看运行MR程序的详细信息

此时，我们点击页面中的history查看MR程序运行的详细信息时发现页面无法访问，这时因为没有配置历史服务，下面进行历史服务器配置。

---

3. 配置历史服务器

1. 修改mapred-site.xml文件

    mapreduce.jobhistory.address
    服务器内网IP:10020




    mapreduce.jobhistory.webapp.address
    服务器内网IP:19888

2. 启动历史服务器

$ sbin/mr-jobhistory-daemon.sh start historyservers

3. 使用jps查看历史服务器是否启动

历史服务器已经启动，在浏览器中输入公网IP地址:19888/jobhistory可以访问，但是在之前的页面中点击history时却无法访问，怀疑是访问路径出了问题。
直接访问：

点击history：

等后学学习过程中逐渐深入了解后，解决这个问题后再来说明，大家有解决办法的话可以分享给我，谢谢！！！