ReduceCopier.fetchOutputs()中线程的协作

ReduceCopier.fetchOutputs()中开了3种线程

1.cp mapoutput     MapOutputCopier

2.merge in mem   InMemFSMergeThread

3.merge in disk     LocalFSMerger

 

fetchOutputs方法中先会对map的location进行检查，然后shuffle以防止热点问题，最后得到的结果在

scheduledCopies。

 

所有线程对List<MapOutputLocation> scheduledCopies 的操作都是 synchronized (scheduledCopies)

MapOutputCopier中：

 

while (scheduledCopies.isEmpty()) {
                scheduledCopies.wait();
              }

 

 

 

fetchOutputs中：完成了混洗后：

scheduledCopies.notifyAll();

 

 

关于thread.join();

只能本线程对象调用，主程序要等到线程中join完成，才执行后面代码。