hadoop2.6.5完全分布式搭建

集群分布部署

Jdk安装（四台机器都需要安装JDK）

[root@node01 ~]# rpm -i  jdk-7u67-linux-x64.rpm
[root@node02 ~]# rpm -i  jdk-7u67-linux-x64.rpm
[root@node03 ~]# rpm -i  jdk-7u67-linux-x64.rpm
[root@node04 ~]# rpm -i  jdk-7u67-linux-x64.rpm

配置环境变量（四台机器都需要配置环境变量）

[root@node01 ~]# vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin

 使环境变量生效

[root@node01 ~]# source /etc/profile
[root@node02 ~]# source /etc/profile
[root@node03 ~]# source /etc/profile
[root@node04 ~]# source /etc/profile

检验JDK安装是否成功 

四台都需要做为了产生目录（/root/.ssh）

ssh免密钥（本机node01） 

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

 

把node01的公钥分发到node02,node03,node04进行免密 

[root@node01 .ssh]# pwd
/root/.ssh
[root@node01 .ssh]# scp id_dsa.pub node02:/root/.ssh/node01.pub


[root@node02 .ssh]# pwd
/root/.ssh

[root@node02 .ssh]# ll
-rw-r--r-- 1 root root 391 Jan  8 22:18 known_hosts
-rw-r--r-- 1 root root 601 Jan  8 22:25 node01.pub

[root@node02 .ssh]# cat node01.pub >> authorized_keys


[root@node01 .ssh]# ssh node02
Last login: Tue Jan  8 22:18:51 2019 from localhost
[root@node02 ~]# exit
logout
Connection to node02 closed.


node03,node04的操作和上面的一样不再重复操作

 创建目录

[root@node01 .ssh]# mkdir /opt/hadoop/
[root@node02 .ssh]# mkdir /opt/hadoop/
[root@node03 .ssh]# mkdir /opt/hadoop/
[root@node04 .ssh]# mkdir /opt/hadoop/

解压Hadoop 

 

配置环境变量 

export HADOOP_HOME=/opt/hadoop/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改配置文件：

[root@node01 hadoop]# vi hadoop-env.sh 
[root@node01 hadoop]# vi yarn-env.sh 
[root@node01 hadoop]# vi mapred-env.sh

 

 

 [root@node01 hadoop]# vi core-site.xml

    
        fs.defaultFS
        hdfs://node01:9000
    



    
        hadoop.tmp.dir
        /var/hadoop/cluster
    

 [root@node01 hadoop]# vi slaves

node02
node03
node04

 [root@node01 hadoop]# vi hdfs-site.xml

    
        dfs.replication
        2
    


    
        dfs.namenode.secondary.http-address
        node02:50090
    

分发hadoop包到node的节点上面 

[root@node01 hadoop]# scp -r ./hadoop-2.6.5/ node02:/opt/hadoop/
[root@node01 hadoop]# scp -r ./hadoop-2.6.5/ node03:/opt/hadoop/
[root@node01 hadoop]# scp -r ./hadoop-2.6.5/ node04:/opt/hadoop/

格式化 

启动集群