centos6.7 编译hadoop hdfs 2.8.5

操作系统环境centos6.7 x86_64
jdk版本:1.8.0_172(java 最低版本1.7)
hadoop:2.8.5

hadoop的默认native lib是32位,所以在启动和使用hdfs命令时会出现如下信息,

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

如果只是使用hadoop的非hdfs的功能,可以通过日志信息屏蔽掉这个提示;如果要使用hdfs的功能,就需要重新编译hadoop。hadoop的下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.5/,编译hadoop之前,需安装一些组件:

1,安装组件
#yum install –y autoconf automake libtool
#yum install –y glibc-headers
#yum install –y gcc
#yum install –y gcc-c++
#yum install –y lzo-devel zlib-devel
#yum install –y openssl-devel
2,安装cmake

下载地址:http://www.cmake.org/files/v2.8/cmake-2.8.10.2.tar.gz,安装路径为/opt/cmake

#mkdir -p /opt/cmake
#cd /opt/cmake
#wget http://www.cmake.org/files/v2.8/cmake-2.8.10.2.tar.gz
# tar -xvf cmake-2.8.10.2.tar.gz
#ln -s cmake-2.8.10.2 cmake
#cd cmake
# ./bootstrap
#gmake
#gmake install
3,安装protobuf

下载地址:https://github.com/protocolbuffers/protobuf/releases?after=v3.0.0-alpha-1(hadoop-2.8.5使用protobuf的最低版本是2.5)

#mkdir –p /opt/protobuf
#tar –xvf protobuf-2.5.0.tar
#ln –s protobuf-2.5.0 protobuf
#./configure --prefix=/usr/protobuf
#make
#make install

安装完成,将protobuf配置到环境变量,可以在/etc/profile文件末尾添加,然后测试一下安装:

#protoc –version

输出内容:libprotoc 2.5.0

4,安装maven

使用maven3.0.0以上版本,下载地址:http://www-eu.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz,安装之前确保已配置java环境变量。

#mkdir -p /opt/maven
#wget http://www-eu.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz
#tar –xvf apache-maven-3.5.4-bin.tar.gz
#ln –s apache-maven-3.5.4 maven

将maven以同样的方式添加到系统环境变量,并配置maven镜像,可以是apache,或则ali的镜像。

5,编译hadoop
#mkdir -p /opt/hadoop
#cd /opt/hadoop
#tar -xvf hadoop-2.8.5-src.tar.gz
#ln –s hadoop-2.8.5-src hadoop-src
#cd hadoop-src
#mvn package -Pdist,native -DskipTests -Dtar

等待hadoop编译完成,在hadoop-disk/target下,可以看到编译完成的hadoop文件


centos6.7 编译hadoop hdfs 2.8.5_第1张图片

将hadoop-2.8.5拷贝到/opt/hadoop/下

#cp hadoop-2.8.5 /opt/hadoop/
#cd /opt/hadoop
#ln -s hadoop-2.8.5 hadoop
6,配置伪分布式hadoop

按照haddop官网的配置方式,实现最简配置:
1,编辑hadoop-env.sh,在文件中配置如下信息:

export JAVA_HOME=/usr/jdk/instances/jdk1.8.0_172
export HADOOP_LOG_DIR=/opt/hadoop/logs/pid_dir
export HADOOP_PID_DIR=/opt/hadoop/logs/pid

2,编辑core-site.xml,在configuration节点下添加如下内容

        
                fs.defaultFS
                hdfs://localhost:9000
        
        
                hadoop.tmp.dir
                /opt/hadoop/tmp
        

3,编辑hdfs-site.xml,在configuration节点下添加如下内容

        
                dfs.replication
                1
        

4,设置面密码登录

#ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
#cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#chmod 0600 ~/.ssh/authorized_keys

5,初始化

#cd /opt/hadoop/hadoop/bin
#./hadoop namenode -format

6,启动

#cd /usr/hadoop/hadoop/sbin
#./start-ds.sh

服务启动后,检查是否存在warning信息,同时使用http://localhost:50070/查看

你可能感兴趣的:(centos6.7 编译hadoop hdfs 2.8.5)