Hadoop升级方案

1.bin/hadoop dfsadmin -finalizeUpgrade  |清理之前的备份 

2.hadoop dfsadmin -upgradeProgress status  |查看更新状态

3.拷贝

   3.1:u4conf文件拷贝至u6conf文件中

   3.2:bin目录下修改迁移:

         hadoop-deamon.shlog4j的配置修改

         机架感知脚本get_racks.sh

         健康检查脚本healthcheck.sh

   3.3:lib包下jar包切换(统一放到extlib下面),包括:

         uncommons-maths-1.2.2.jar

         mahout-collections-1.0.jar

         hbase-0.94.3.jar

         hadoop-lzo-0.4.14.1.jar

         protobuf-java-2.4.1.jar

         zookeeper-3.4.3.jar

         commons-beanutils-1.7.0.jar

         commons-beanutils-core-1.8.0.jar

         commons-cli-2.0-mahout.jar

         google-collections-1.0-rc2.jar

         mahout-math-0.6.jar

         guava-r09.jar

         hadoop-fairscheduler-0.20.2-cdh3u6.jar     // 因为有PanguCapBasedManager,需要重新构建

         native/Linux-amd64-64/libgplcompression.*

 

   3.4:pipes支持的amd路径包

          重新编译pipes,放置到lib/native/Linux-i386-64

   3.5:跳板机上的extlib下的全部jar同样放到服务端的extlib

         修改方法见:https://pgconfluence.pangu365.com/pages/viewpage.action?pageId=3571726

4.分发hadoop-cdh3u6版本

5. 停止hadoop所有服务

    stop-all.sh

    并确认所有java进程已退出。

6. NN上,备份其中一个dfs.name.dir

7.执行-upgrade操作 ./start-dfs.sh -upgrade

8.正常后关闭finalizeUpgrade

9.如果需要回滚,则恢复hadoop-cdh3u4

  执行start-dfs.sh -rollback

你可能感兴趣的:(hadoop)