hadoop-2.2.0-yarn-resourcemanager恢复

      十月份hadoop正式发布了hadoop2.2.0稳定版,让人期待的hadoop 2.0框架总算有个里程碑进展。个人最关注的还是namenode ha实现和yarn框架。为了使知识得到有效积累,特将自己的实验过程用文字描述出来,做个记忆,方便自己也方便有需要的人查看。

      目前的版本yarn resourcemanager还没有实现ha,但是可以实现故障恢复,即有任务正在运行,此时将resourcemanager kill后再启动,resourcemanager会将正在运行的job杀掉重新运行。经过试验,这种恢复只能恢复已经有部分map成功的job,如果有job正在运行,但是没有一个map运行成功,那么还是不能重新启动。

      配置文件yarn-site.xml:



        yarn.resourcemanager.recovery.enabled

      
        true


        yarn.resourcemanager.store.class

                             

        org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore


        yarn.resourcemanager.fs.state-store.uri

      
        hdfs://mycluster/rmstore
 

 

你可能感兴趣的:(hadoop-2.2.0-yarn-resourcemanager恢复)