Yarn 任务缓存数据和HistoryServer 历史任务日志数据清理

清理yarn-nodemanager 历史任务存储的中间结果以及依赖jar包

修改 yarn-site.xml

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml
添加以下内容
    
        yarn.nodemanager.localizer.cache.target-size-mb
        1024
        数据最大限制超过此值将清除历史任务数据
    
    
        yarn.nodemanager.localizer.cache.cleanup.interval-ms
        604800000
        多久做一次检测，并清除缓存目录直到目录大小低于target-size-mb
    

清理hadoop-historyserver 历史日志聚合功能后存储到hdfs中的日志数据

修改 yarn-site.xml

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml
添加以下内容
    
        yarn.log-aggregation.retain-seconds
        432000
        多久清理一次历史聚合日志
    
    
        yarn.nodemanager.remote-app-log-dir
        /tmp/container/logs
        聚合后的日志hdfs存放目录
      

重启hadoop集群参数生效