Mapper中setup、map、cleanup的浅析

Mapper中setup、map、cleanup的浅析_第1张图片


       

这个方法调用了上面的三个函数,组成了setup-map-cleanup 这样的执行序列,这一点和设计模式中的模版模式很类似,当然在这里我们也可以改写它的源码,比如可以在map 的时候增加多线程,这样可以对map 任务做进一步的优化,从以上的分析可以很清楚的知道setup 函数的作用了。



  • setup(),此方法被MapReduce框架仅且执行一次,在执行Map任务前,进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法map()中,导致Mapper任务在解析每一行输入时都会进行资源初始化工作,导致重复,程序运行效率不高!
  • cleanup(),此方法被MapReduce框架仅且执行一次,在执行完毕Map任务后,进行相关变量或资源的释放工作。若是将释放资源工作放入方法map()中,也会导致Mapper任务在解析、处理每一行文本后释放资源,而且在下一行文本解析前还要重复初始化,导致反复重复,程序运行效率不高!

你可能感兴趣的:(Mapper中setup、map、cleanup的浅析)