hadoop2.0编译安装步骤

阅读更多

在32位或64位的linux的操作系统，安装hadoop2.0d都没问题。

在64位的linux上安装的时候，hadoop为了追求性能，使用linux本地库。libhadoop.so.1.0.0文件要求32位的文件。使用2中方法解决:临时办法：

export HADOOP_COMMON_LIB_NATIVE_DIR=/home/grid/hadoop-2.2.0/lib/native

export HADOOP_OPTS="-D java.library.path=/home/grid/hadoop-2.2.0/lib"

彻底解决问题的办法：重新编译hadoop,让hadoop的本地库编译成64位的。

(1).在hadoop2.2的根目录下，分别创建data,name,tmp目录。data目录存储数据节点的数据文件。name目录存储namenode的元数据。tmp目录代表hadoop临时目录。

(2).涉及到的配置文件有7个：

~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh

~/hadoop-2.2.0/etc/hadoop/yarn-env.sh

~/hadoop-2.2.0/etc/hadoop/slaves

~/hadoop-2.2.0/etc/hadoop/core-site.xml

~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml

~/hadoop-2.2.0/etc/hadoop/mapred-site.xml

~/hadoop-2.2.0/etc/hadoop/yarn-site.xml

以上个别文件默认不存在的，可以复制相应的tmplate文件获得。

(3).启动集群及检验

格式化namenode :/bin/hdfs namenode -format

启动hdfs:./sbin/start-dfs.sh

此时在h1上面运行的进程有：namenode,secondarynamenode

h2和h3上面运行的进程有：datanode

启动yarn:./sbin/start-yarn.sh

此时在h1上运行的进程有：namenode,secondarynamenode,resourcemanager

h2和h3上面运行的进程有：datanode,nodemanager

 

暂时这样，以后慢慢补充。