hadoop的完全分布式安装

配置hadoop

1上传hadoop包

2解压hadoop包

tar -zxvf hadoop-*.tar.gz -C /usr/local/

3配置hadoop伪分布式（要修改4个文件）

第一个：hadoop-env.sh

vim hadoop-env.sh

export JAVA_HOME=/usr/java/jdk

第二个：core-site.xml

<configuration>

<property>

          <name>fs.defaultFS</name>

        <value>hdfs://hadoop01:9000</value>

</property>

<property>

          <name>hadoop.tmp.dir</name>

          <value>/usr/local/hadoop/tmp</value>

</property>

</configuration>

第三个：hdfs-site.xml

<configuration>

<property>

          <name>dfs.namenode.secondary.http-address</name>

         <value>hadoop02:50090</value>

    </property>

    <property>

            <name>dfs.namenode.secondary.https-address</name>

            <value>hadoop02:50091</value>

  </property>

</configuration>

第四个：masters

vim masters   

hadoop01

第五个：slaves

vim slaves   

hadoop02

hadoop03

hadoop04

配置ssh免登陆：

生成ssh免登陆密钥

cd ~，进入到我的home目录

cd .ssh/

ssh-keygen -t rsa （四个回车）

执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

将公钥拷贝到要免登陆的机器上

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

或ssh-copy-id -i localhost 

#把hadoop01的hadoop目录下的logs和tmp删除

将配置好的hadoop拷贝到其他节点

scp -r /usr/local/hadoop/ hadoop02:/usr/local/

scp -r /usr/local/hadoop/ hadoop03:/usr/local/

scp -r /usr/local/hadoop/ hadoop04:/usr/local/

把hadoop01的/etc/profile复制到其他节点，并在目标节点中执行source /etc/profile

格式化，在hadoop01节点执行hadoop namenode -format

启动，在hadoop01节点执行start-all.sh

****注意：对于配置文件core-site.xml和mapred-site.xml在所有节点中都是相同的内容。