hadoop1.2.1伪分布式搭建

0.使用host-only方式
     将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段
     注意：一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段，但是IP不能相同
1.Linux环境配置（windows下面的防火墙也要关闭）
     1.1修改主机名
          vim /etc/sysconfig/network
     1.2修改IP
          vim /etc/sysconfig/network-scripts/ifcfg-eth0
         
          DEVICE="eth0"
          BOOTPROTO="static"   ###
          HWADDR="00:0C:29:BF:45:8B"
          IPV6INIT="yes"
          NM_CONTROLLED="yes"
          ONBOOT="yes"
          TYPE="Ethernet"
          UUID="99339c27-0884-46c0-85d5-2612e5c1f149"
          IPADDR="192.168.1.110"   ###
          NETMASK="255.255.255.0"  ###
          GATEWAY="192.192.1.1"    ###
     1.3修改主机名和IP的映射关系
          vim /etc/hosts
         
          192.168.1.110 hadoop
     1.4关闭防火墙
          查看防护墙状态
          service iptables status
         
          关闭
          service iptables stop
         
          查看防火墙开机启动状态
          chkconfig iptables --list
         
          关闭开机启动
          chkconfig iptables off
     1.5安装JDK
          上传JDK
          添加执行权限
          chmod u+x jdk-6u45-linux-i586.bin
         
          解压
          ./jdk-6u45-linux-i586.bin
         
          mkdir /usr/java
          mv jdk1.6.0_45/ /usr/java/
         
          将java添加到环境变量
          vim /etc/profile
          在文件的末尾添加如下内容
         
          export JAVA_HOME=/home/app/sxp/jdk1.7
          export PATH=$PATH:$JAVA_HOME/bin

          刷新配置
          source /etc/profile
         
2.配置hadoop
     2.1上传hadoop包
    
     2.2解压hadoop包
          首先在根目录创建一个cloud目录
          mkdir /cloud
         
          tar -zxvf hadoop-1.1.2.tar.gz -C /cloud/
     2.3配置hadoop伪分布式（要修改4个文件）
          第一个：hadoop-env.sh
          vim hadoop-env.sh
               export JAVA_HOME=/usr/java/jdk1.6.0_45
         
          第二个：core-site.xml
          vim core-site.xml
              
               <configuration>
                         <!-- 指定HDFS的namenode的通信地址 -->
                         <property>
                                   <name>fs.default.name</name>
                                   <value>hdfs://hadoop:9000</value>
                         </property>
                         <!-- 指定hadoop运行时产生文件的存放目录 -->
                         <property>
                                   <name>hadoop.tmp.dir</name>
                                   <value>/cloud/hadoop-1.1.2/tmp</value>
                         </property>
               </configuration>
              
          第三个：hdfs-site.xml
          vim hdfs-site.xml
               <configuration>
                    <!-- 配置HDFS副本的数量 -->
                    <property>
                              <name>dfs.replication</name>
                              <value>1</value>
                    </property>
               </configuration>
              
          第四个：mapred-site.xml
          vim mapred-site.xml
               <configuration>
                         <!-- 指定jobtracker地址 -->
                         <property>
                                   <name>mapred.job.tracker</name>
                                   <value>hadoop:9001</value>
                         </property>
               </configuration>
              
     2.4将hadoop添加到环境变量
          vim /etc/profile
         
          export JAVA_HOME=/usr/java/jdk1.6.0_45
          export HADOOP_HOME=/cloud/hadoop-1.1.2
          export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
         
          source /etc/profile
    
     2.5格式化HDFS
          hadoop namenode -format
    
     2.6启动hadoop
          start-all.sh
    
     2.7验证集群是否启动成功
          jps(不包括jps应该有5个)
          NameNode
          SecondaryNameNode
          DataNode
          JobTracker
          TaskTracker
          还可以通过浏览器的方式验证
          http://192.168.1.110:50070 (hdfs管理界面)
          http://192.168.1.110:50030 (mr管理界面)
         
          在这个文件中添加linux主机名和IP的映射关系
          C:\Windows\System32\drivers\etc
         
3.配置ssh免登陆
     生成ssh免登陆密钥
     ssh-keygen -t rsa
     执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
     将公钥拷贝到要免登陆的机器上
     cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys