CentOS7 64位系统安装配置hadoop2.7.2

本文记录了本人实现hadoop的伪分布式部署的过程。

使用的软件为

CentOS-7-x86_64-DVD-1511.iso

hadoop-2.7.2.tar.gz

jdk-8u71-linux-x64.rpm

1、安装CestOS7，采用了最小化安装。

     安装完成之后，发现没有ifconfig命令，用yum安装，yum install net-tools

     安装文件上传命令 yum install lrzsz

2、安装jdk，通过rz命令上传jdk-8u71-linux-x64.rpm，执行rpm -ivh jdk-8u71-linux-x64.rpm

      配置环境变量JAVA_HOME和 CLASSPATH，打开~/.bash_profile，结果如下

JAVA_HOME=/usr/java/jdk1.8.0_71
CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/ext
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

export JAVA_HOME CLASSPATH

export PATH

3、上传hadoop-2.7.2.tar.gz并解压，我是上传到/home目录。

配置hadoop的环境变量HADOOP_INSTALL，打开~/.bash_profile，结果如下

       HADOOP_INSTALL=/home/hadoop-2.7.2
JAVA_HOME=/usr/java/jdk1.8.0_71
CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/ext
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin


export JAVA_HOME CLASSPATH HADOOP_INSTALL
export PATH

4、进入$HADOOP_INSTALL/etc/hadoop目录，

修改hadoop-env.sh，增加

         export JAVA_HOME=/usr/java/jdk1.8.0_71

修改core-site.xml

         
       
                fs.defaultFS
                hdfs://hadoop1:9000
       

其中hadoop1这个主机名在/etc/hosts文件中增加一行，如我的IP是188.168.1.180，结果如下

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
188.168.1.180 hadoop1
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

修改hdfs-site.xml

       
                dfs.replication
                1  表示只有一个备份
       
       
                dfs.namenode.name.dir
                file:/home/dfs/name  指定namenode的存放目录
       
       
                dfs.datanode.data.dir
                file:/home/dfs/data 指定data存放目录
       

修改yarn-site.xml

       
                yarn.nodemanager.aux-services
                mapreduce_shuffle
       
       
                yarn.nodemanager.aux-services.mapreduce.shuffle.class
                org.apache.hadoop.mapred.ShuffleHandler
       
       
                yarn.resourcemanager.address
                hadoop1:8032
       
       
                yarn.resourcemanager.scheduler.address
                hadoop1:8030
       
       
                yarn.resourcemanager.resource-tracker.address
                hadoop1:8031
       
       
                yarn.resourcemanager.admin.address
                hadoop1:8033
       
       
                yarn.resourcemanager.webapp.address
                hadoop1:8088
       

修改mapred-site.xml

       
                mapreduce.framework.name
                yarn
       

修改yarn-env.sh

在原有注释掉# export JAVA_HOME=/home/y/libexec/jdk1.6.0/之后增加
export JAVA_HOME=/usr/java/jdk1.8.0_71

5、格式化namenode

    hdfs namenode format

6、启动集群

   start-all.sh

此处需要ssh支持无验证连接，先执行以下命令

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

通过ssh localhost 和ssh hadoop1来验证，如果不用输入密码，就表示正确。

然后启动集群

7、jps查看运行情况

2688 SecondaryNameNode
2897 ResourceManager
2994 NodeManager
2551 DataNode
2459 NameNode
3311 Jps

8、访问WEB，输入http://188.168.1.180:50070

    此处要先开通防火墙访问限制，或者直接关闭防火墙

开通访问端口 iptables -I INPUT -p tcp -m state --state NEW -m tcp --dport 50070 -j ACCEPT   

关闭防火墙 service firewalld stop 

9、停止集群

stop-all.sh