hadoop安装、升级 学习

1. 编译

   官方手册

   几个常用依赖要先装好：

   autoconf automake libtool openssl-devel.x86_64 ant cmake snappy snappy-devel protobuf-2.5.0(必须是2.5.0以上版本！)

   编译命令：mvn package -Pdist,native -DskipTests -Dtar -Drequire.snappy(支持snappy)

   编译成功后会打包，放在hadoop-dist/target

2. 添加lzo支持

   http://www.iteblog.com/archives/992

   上面blog里写的很详细了，我只总结一些需要注意的地方：

   1)依赖lzo和lzo-devel需要提前装好
   

        2)使用twitter的hadoop-lzo，地址是：https://github.com/twitter/hadoop-lzo

        3)除了拷贝.so .a文件，别忘了还要拷hadoop-lzo-*-SNAPSHOT.jar

    3.  单机版hadoop yarn内存分配必须大于3072

        因为渣虚拟机所以只分配了2048的内存，结果跑wordcount就开在0%不动了，下面是解决方法链接

        http://stackoverflow.com/questions/23231403/mapreduce-in-hadoop-2-2-0-not-working

    4. yarn配置小问题

        centos2:8994写域名就报错，用0.0.0.0正常

          <property>

            <name>yarn.nodemanager.address</name>

            <value>0.0.0.0:8994</value>

          </property>

    5. 升级

    这次从hadoop2.2.0 升级成 2.6.2。过程还是比较顺利，目前来看集群运行正常。

    因为是测试环境，数据量很小，所以升级过程比较快。升级参考了这位大神的blog：https://www.zybuluo.com/layor/note/161370 、 https://www.zybuluo.com/layor/note/162019

    我总结一下我的步骤：

        1） hadoop安装使用软连接设置目录：  ln -s /usr/local/hadoop2.2.0 /usr/local/hadoop 这样方便你升级。

        2） hadoop checknative -a 检查先hadoop库支持情况。

        3） 停掉老集群后升级 ./sbin/hadoop-daemon.sh start namenode -upgrade

        4） 启动其他服务 ./sbin/start-all.sh

        5） 启动以后离开safe模式(升级完自动进入safe模式)  hadoop dfsadmin -safemode leave

        6） 检查数据。