Hadoop升级方案

1.bin/hadoop dfsadmin -finalizeUpgrade  |清理之前的备份 

2.hadoop dfsadmin -upgradeProgress status  |查看更新状态

3.拷贝

   3.1:u4的conf文件拷贝至u6的conf文件中

   3.2:bin目录下修改迁移：

         hadoop-deamon.sh中log4j的配置修改

         机架感知脚本get_racks.sh

         健康检查脚本healthcheck.sh

   3.3:lib包下jar包切换(统一放到extlib下面)，包括：

         uncommons-maths-1.2.2.jar

         mahout-collections-1.0.jar

         hbase-0.94.3.jar

         hadoop-lzo-0.4.14.1.jar

         protobuf-java-2.4.1.jar

         zookeeper-3.4.3.jar

         commons-beanutils-1.7.0.jar

         commons-beanutils-core-1.8.0.jar

         commons-cli-2.0-mahout.jar

         google-collections-1.0-rc2.jar

         mahout-math-0.6.jar

         guava-r09.jar

         hadoop-fairscheduler-0.20.2-cdh3u6.jar     // 因为有PanguCapBasedManager，需要重新构建

         native/Linux-amd64-64/libgplcompression.*

 

   3.4:pipes支持的amd路径包

          重新编译pipes，放置到lib/native/Linux-i386-64下

   3.5:跳板机上的extlib下的全部jar同样放到服务端的extlib下

         修改方法见：https://pgconfluence.pangu365.com/pages/viewpage.action?pageId=3571726

4.分发hadoop-cdh3u6版本

5. 停止hadoop所有服务

    stop-all.sh

    并确认所有java进程已退出。

6. NN上，备份其中一个dfs.name.dir

7.执行-upgrade操作 ./start-dfs.sh -upgrade

8.正常后关闭finalizeUpgrade

9.如果需要回滚，则恢复hadoop-cdh3u4包

  执行start-dfs.sh -rollback