Hadoop配置历史服务器和日志聚集

        为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

    1.	配置mapred-site.xml
    [atguigu@hadoop101 hadoop]$ vi mapred-site.xml
    在该文件里面增加如下配置。
    
    
    mapreduce.jobhistory.address
    hadoop101:10020
    
    
    
        mapreduce.jobhistory.webapp.address
        hadoop101:19888
    

---

2. 启动历史服务器
   [atguigu@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver
3. 查看历史服务器是否启动
   [atguigu@hadoop101 hadoop-2.7.2]$ jps
4. 查看JobHistory
   http://hadoop101:19888/jobhistory
   4.2.4 配置日志的聚集
   日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
   日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
   注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

---

        开启日志聚集功能具体步骤如下：

    1.配置yarn-site.xml
    [atguigu@hadoop101 hadoop]$ vi yarn-site.xml
    在该文件里面增加如下配置。
    
    
    yarn.log-aggregation-enable
    true
    
    
    
    
    yarn.log-aggregation.retain-seconds
    604800
    

---

注意：

点击History却不能出现下图历史服务器信息
这是因为hadoop里面使用的都是域名，Windows里面识别不了，在C:\Windows\System32\drivers\etc\hosts给他添加上就好了

---

        Hosts是一个没有扩展名的系统文件，可以用记事本等工具打开，其作用就是将一些常用的网址域名与其对应的IP地址建立一个关联“数据库”，当用户在浏览器中输入一个需要登录的网址时，系统会首先自动从Hosts文件中寻找对应的IP地址，一旦找到，系统会立即打开对应网页，如果没有找到，则系统会再将网址提交DNS域名解析服务器进行IP地址的解析。
浏览器访问网站，要首先通过DNS服务器把要访问的网站域名解析成一个唯一的IP地址，之后，浏览器才能对此网站进行定位并且访问其数据。
操作系统规定，在进行DNS请求以前，先检查系自己的Hosts文件中是否有这个域名和IP的映射关系。如果有，则直接访问这个IP地址指定的网络位置，如果没有，再向已知的DNS服务器提出域名解析请求。也就是说Hosts的IP解析优先级比DNS要高。