HADOOP 中 MR架构 是基于网络的架构。其中有两个比较重要的类:JobTracker 和 TaskTracker,JobTracker 和 TaskTracker 是一对多的关系, 多个 TaskTracker主动地向JobTracker发送请求(称作heartbeat),JobTracker接收到请求后,要完成一个最重要的工作就是为该TaskTracker分配一个actions列表,这里面包含了该TaskTracker需要执行的任务(task)集合。

       TaskTracker接收到这个action列表时,会调用TaskLauncher的方法把task加入到tasksToLaunch这个list中。

       TaskLauncher是一个线程,会不断处理tasksToLaunch这个llist。通过创建TaskRunner这个线程,TaskRunner则要委派JvmManager执行,JvmManager分析是否需要启动新的JVM,还是沿用处于空闲状态的JVM来启动这个任务。最后会交给UNIXProcess这个java.lang.Process的类来真正运行Task。

        TaskRunner比较重要,要准备JVM运行的一些参数vmargs:

        java路径,

        mapred.child.java.opts 参数值

       -Djava.library.path

       -Djava.io.tmpdir

       log4j的一些参数

       org.apache.hadoop.mapred.Child(main class)

       VM Environment

           

          一个Job被提交后,会有一个JobInProgress与之对应,JobInProgress会被分割成多个任务(task),并被初始化,这要通过读取一个配置项{job.splitmetainfo}对应的文件得到,而这个job分割元数据文件是在JobClient提交job时,通过writeSplit()计算出来的。