JobTracker节点后台线程之RetireJobs

参考：http://blog.csdn.net/xhh198781/article/details/7342282

Hadoop中的用户作业在其整个生命周期中有5个状态，它们分别是：PREP、RUNNING、SUCCEEDED、FAILED、KILLED，而这其中的SUCCEEDED、FAILED、KILLED三个状态是互斥的，都可看做是Job的完成状态。当用户成功的提交了一个Job之后，这个Job就会进入PREP状态，然后这个Job的map启动任务会被首先交给一个TaskTracker节点来完成，当这个任务被成功执行之后，Job就会进入RUNNING状态，最后随着Job的map任务和reduce任务的完成状态，Job进入FAILED或SUCCEEDED或KILLED中的某一个状态，这个状态图如下：

    当一个作业处于完成状态之后，JobTracker节点的任务调度器就不需要再考虑该Job了，也就是JobTracker需要把该Job从作业队列中删除。但是，JobTracker节点并不是马上就把与这个Job相关的信息删除掉，而是先把它缓存起来，同时建立一个用户与Job的映射，这个用户是指提交该作业的用户。至于JobTracker为什么会这么做，笔者目前也没有完全弄明白，推测可能与用户作业历史记录有关，也或者和集群的负载统计有关(如果有朋友知道这其中的原因可以@我)。当然这里可能有一个问题就是，JobTracker节点是否一直会缓存这些已完成Job的信息呢？实际上是不会的，因为JobTracker节点为每一个缓存的已完成Job信息设置了一个生命周期，当过了这个生命周期，这个缓存信息就会被清除掉。这个清理工作被设计成了JobTracker节点的一个组件——RetireJobs，这个RetireJobs作为JobTracker节点的后台线程，会定时的检测每一个缓存的已完成Job信息的生存时间是够已过期，如果过期了，他就会被清除。这个检查的间隔时间为RETIRE_JOB_CHECK_INTERVAL ms，默认值是60000，但也可通过配置文件来设置，对应的配置项为：mapred.jobtracker.retirejob.check。而每一个已完成Job信息的生存时间为RETIRE_JOB_INTERVAL ms，它的默认值24*60*60*1000，当然也可以通过配置文件来设置，对应的配置项为：mapred.jobtracker.retirejob.interval。这个过程的具体源码如下：

 static final int MIN_TIME_BEFORE_RETIRE = 60000;

 public void run() {
     while (true) {
       try {
         Thread.sleep(RETIRE_JOB_CHECK_INTERVAL);
         List<JobInProgress> retiredJobs = new ArrayList<JobInProgress>();
         long now = System.currentTimeMillis();
         long retireBefore = now - RETIRE_JOB_INTERVAL;

         synchronized (jobs) {
           for(JobInProgress job: jobs.values()) {
             if (job.getStatus().getRunState() != JobStatus.RUNNING &&
                 job.getStatus().getRunState() != JobStatus.PREP &&
                 (job.getFinishTime() + MIN_TIME_BEFORE_RETIRE < now) &&
                 (job.getFinishTime()  < retireBefore)) {
               retiredJobs.add(job);
             }
           }
         }

         if (!retiredJobs.isEmpty()) {
           synchronized (JobTracker.this) {
             synchronized (jobs) {
               synchronized (taskScheduler) {
                 for (JobInProgress job: retiredJobs) {
                   removeJobTasks(job);
                   jobs.remove(job.getProfile().getJobID());
                   for (JobInProgressListener l : jobInProgressListeners) {
                     l.jobRemoved(job);
                   }
                   String jobUser = job.getProfile().getUser();
                   synchronized (userToJobsMap) {
                     ArrayList<JobInProgress> userJobs =  userToJobsMap.get(jobUser);
                     synchronized (userJobs) {
                       userJobs.remove(job);
                     }
                     if (userJobs.isEmpty()) {
                       userToJobsMap.remove(jobUser);
                     }
                   }
                   LOG.info("Retired job with id: '" + job.getProfile().getJobID() + "' of user '" + jobUser + "'");

                   // clean up job files from the local disk
                   JobHistory.JobInfo.cleanupJob(job.getProfile().getJobID());
                 }
               }
             }
           }
         }
       } catch (InterruptedException t) {
         break;
       } catch (Throwable t) {
         LOG.error("Error in retiring job:\n" + StringUtils.stringifyException(t));
       }
     }

     LOG.debug("Job Retire Thread is to stop..");
 }

     但是，JobTracker节点的资源是有限的，如果某一个用户频繁的提交Job，那么这个用户对应的已完成Job信息缓存会占用大量的系统资源，所以JobTracker节点又设计了另一个检测机制，就是当一个作业完成时，它会判断这个Job对应的提交用户缓存的已完成Job信息的数量有没有达到一个阈值MAX_COMPLETE_USER_JOBS_IN_MEMORY，如果达到了这个阈值的话，就会删除他的所有缓存时间超过 MIN_TIME_BEFORE_RETIRE ms的已完成Job信息，直到这个用户缓存的已完成Job信息的数量下降到这个阈值。MAX_COMPLETE_USER_JOBS_IN_MEMORY可以通过配置文件来配置，对应的配置项为：mapred.jobtracker.completeuserjobs.maxinum，但它的默认值是100。