hadoop集群环境搭建（超详细）

1.首先准备三台机器,三台机器之间要互通免密码登录

    vim /etc/hosts  //配置文件  配置三台机器的互通
    ssh-keygen -t rsa  //生成公私钥对 (四个回车)
    ssh-copy-id localhost  //本机免密码
    ssh-copy-id 虚拟机名称 //互登免密码   

2.安装hadoop

 三种运行方式-单机模式-伪分布式-完全分布式
    echo $JAVA_HOME //检查jdk是否安装(必要的环境)
    tar -zxvf hadoop-2.6.0 -C usr/local/soft//安装haddop到soft包下
    HADOOP_HOME=/usr/local/hadoop-2.6.0   //配置环境变量
    PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH
    source ~/.bash_profile  //刷新配置文件

3.配置单节点hadoop (Single Node Setup)

 vim etc/hadoop/hadoop-env.sh--修改jdk为真实路径 
     vim etc/hadoop/core-site.xml--写入下面代码


               <property>
               <name>fs.defaultFSname>
               <value>hdfs://node1(主机名):9000value>
               property>


     vim etc/hadoop/hdfs-site.xml--写入下面代码


            <configuration>
                <property>
                    <name>dfs.replicationname>
                    <value>1value>
                property>
                <property>
                    <name>dfs.namenode.name.dirname>
                    <value>/usr/local/hadoop/tmpvalue>
                property>
            configuration>

     测试：  /bin/hdfs namenode -format //格式化系统文件
            sbin/start-dfs.sh  //启动服务
        jps 看到下面三个服务证明文件系统已配好   
                namenode
                datanode
                seconderynamenode

     cp mapred-side.xml.template  mapred-side.xml //先拷贝一份配置文件去掉原有的后缀
     vim mapred-side.xml  //配置mapred写入下面代码

            <configuration>
             <property>
                     <name>mapreduce.framework.namename>
                     <value>yarnvalue>
             property>
            configuration>

     vim yarn-site.xml  //配置aux服务为shuffle 写入下面代码

            <property>
                <name>yarn.nodemanager.aux-servicesname>
                <value>mapreduce_shufflevalue>
            property>

     cd到sbin 启动yarn
        ./start-yarn.sh
     测试：jps看有没有启动yarn文件运算服务
        ResourceManager 
        NodeManager
     vim slaves //配置主从
        虚拟机名称..  //奴隶的名称  
        node51 node52

4.把配好的hadoop拷贝到另外两台机器

先拷贝jdk到另外两台机器
    scp -r jdk1.8 root@node51:/usr/local/soft
    scp -r jdk1.8 root@node52:/usr/local/soft
    拷贝hadoop (把share下边的doc删除掉--文件太大，拷贝时间久)
    rm -rf doc
    scp -r hadoop-2.6.0/ root@node51:/usr/local/soft
    scp -r hadoop-2.6.0/ root@node52:/usr/local/soft
    环境变量文件也拷贝到另外两台机器
    scp ~/.bash_profile root@node51:~/
    source ~/.bash_profile //即使刷新配置文件

5 开启服务

sbin/start-all.sh   //全部启动
    jps查看启动的服务
      主机(master)：
        6826 NameNode
        7101 SecondaryNameNode
        7246 ResourceManager
      从机(salve)：
        5975 NodeManager
        6095 DataNode