[置顶] hadoop完全分布式环境搭建

第一步：

 

         配置集群服务器的配置：vi/etc/hosts

                   10.1.40.100  master

                   10.1.40.101  slave1

                   10.1.40.102  slave2

                   同时需要将主机名的ip配置改成服务器的ip，cat/proc/sys/kernel/hostname可以查看服务器的主机名

                     

第二步：

         建立服务器用户（此步骤也可以省略）

第三步：

         安装SSH，并让maste免登陆节点服务器

         ssh-keygen

         cd ~/.ssh

         cat id_rsa.pub >> authorized_keys

         ssh localhost

        然后将每个子节点服务器的id_dsa私钥通过cat的方式写到master主机authorized_keys

        这样master主机就能免登陆访问子节点了，hadoop必须要满足这个条件，才能正常工作

第四步：

         下载hadoop包解压到master主机上

         修改配置文件 conf目录下：

         a.      hadoop-env.sh  修改java_home

         b.      core-site.xml  

         hadoop.tmp.dir一定要配置，不然会默认保存在tmp目录，服务器重启就会被删除

         同时配置的目录必须要存在，不然hadoop启动会报错

        c.      hdfs-site.xml 配置备份的分数

         <property>

                  <name>dfs.replication</name>

                  <value>1</value>

           </property>    

       d.      mapred-site.xml

       <property>

           <name>mapred.job.tracker</name>

           <value>master:9001</value>

        </property>

        e.      修改master

                a)        master

        f.       修改slaves

               a)        slave

               b)        slave1

第五步：

         将主机安装好的hadoop拷贝到各个节点

第六步：

         a)      格式化namenode：命令：hadoop namenode –format

         b)      Start-all.sh

第七步：

         主机jps

                    namenode

                    jobtracker

                   SecondaryNameNode

         节点jps

                    TaskTracker

                    DataNode

                  

  在浏览器中输入：http://192.168.1.100:50030，网址为master结点所对应的IP：

  在浏览器中输入：http://192.168.1.100:50070，网址为master结点所对应的IP：