Hadoop配置历史服务器及日志聚合

        历史服务器
作用：查看我们已经完成的任务历史记录，日志记录。
配置文件：mapred-site.xml
--》指定历史服务器所在位置及端口号
   
        mapreduce.jobhistory.address
        bdqn.linux.com:10020
   
    --》指定历史服务器所在的外部浏览器交互端口号及机器位置
   
        mapreduce.jobhistory.webapp.address
        bdqn.linux.com:19888
   


日志聚合
作用：
一、将我们操作的日志文件聚合到一起，通过web界面方便我们查看，并可以设置日志保存时间，可节省空间
二、在网页能够查看map和reduce的任务日志
三、存储在HDFS上的，比较容易读取
配置：yarn-site.xml
--》开启日志聚合功能

        yarn.log-aggregation-enable
        true
   
    --》指定日志保存时间（单位为秒）

        yarn.log-aggregation.retain-seconds
        604800
   


    启动节点进行测试：
    sbin/mr-jobhistory-daemon.sh start historyserver


    jps查看节点：
    9331 JobHistoryServer


    web页面查看：
    bdqn.linux.com:19888


    关闭节点的方法：
    sbin/mr-jobhistory-daemon.sh stop historyserver


二、SSH免密码登录
1.生成公钥私钥对
ssh-keygen -t rsa
在用户家目录下的.ssh/会生成两个文件：id_rsa.pub和id_rsa。前者是公钥，后者是私钥
拷贝公钥至authorized_keys文件
2.执行：$ ssh-copy-id hostname


注意：若配置完成后不生效，问题可能出现在目录权限上
drwx------.  2 root root  4096 6月  27 09:01 .ssh
.ssh目录只能所属者拥有权限
用户~目录 ，其他用户不能有任何权限