Hadoop Speculative Execution - Hadoop推测执行

1.推测执行

        所谓的推测执行，就是当所有task都开始运行之后，Job Tracker会统计所有任务的平均进度，如果某个task所在的机器配置比较低或者CPU load很高（原因很多），导致任务执行比总体任务的平均执行要慢，此时Job Tracker会启动一个新的任务（duplicate task），原有任务和新任务(一个task会有多个attempt同时执行)哪个先执行完就把另外一个kill掉，这也是我们经常在Job Tracker页面看到任务执行成功，但是总有些任务被kill，就是这个原因。另外，根据Hadoop的特点，同一个task执行多次的结果是一样的，所以task只要有一次执行成功，job就是成功的，被kill的task对job的结果没有影响。

2.推测执行的配置
配置参数：
mapred.map.tasks.speculative.execution=true
mapred.reduce.tasks.speculative.execution=true

这两个是推测执行的配置项，当然如果你从来不关心这两个选项也没关系，它们默认值是true

转载url：http://blog.csdn.net/macyang/article/details/7880671