hadoop伪分布部署

0.使用host-only方式
 将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段
 注意：一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段，但是IP不能相同
1.Linux环境配置（windows下面的防火墙也要关闭）
 1.1修改主机名
  vim /etc/sysconfig/network
 1.2修改IP
  vim /etc/sysconfig/network-scripts/ifcfg-eth0
  
  DEVICE="eth0"
  BOOTPROTO="static"   ###
  HWADDR="00:0C:29:BF:45:8B"
  IPV6INIT="yes"
  NM_CONTROLLED="yes"
  ONBOOT="yes"
  TYPE="Ethernet"
  UUID="99339c27-0884-46c0-85d5-2612e5c1f149"
  IPADDR="192.168.1.110"   ###
  NETMASK="255.255.255.0"  ###
  GATEWAY="192.192.1.1"    ###
 1.3修改主机名和IP的映射关系
  vim /etc/hosts
  
  192.168.1.110 itcast
 1.4关闭防火墙
  查看防护墙状态
  service iptables status
  
  关闭
  service iptables stop
  
  查看防火墙开机启动状态
  chkconfig iptables --list
  
  关闭开机启动
  chkconfig iptables off
 1.5安装JDK
  上传JDK
  添加执行权限
  chmod u+x jdk-6u45-linux-i586.bin
  
  解压
  ./jdk-6u45-linux-i586.bin
  
  mkdir /usr/java
  mv jdk1.6.0_45/ /usr/java/
  
  将java添加到环境变量
  vim /etc/profile
  在文件的末尾添加如下内容
  
  export JAVA_HOME=/usr/java/jdk1.6.0_45
  export PATH=$PATH:$JAVA_HOME/bin

  刷新配置
  source /etc/profile
  
2.配置hadoop
 2.1上传hadoop包
 
 2.2解压hadoop包
  首先在根目录创建一个cloud目录
  mkdir /cloud
  
  tar -zxvf hadoop-1.1.2.tar.gz -C /cloud/
 2.3配置hadoop伪分布式（要修改4个文件）
  第一个：hadoop-env.sh
  vim hadoop-env.sh
   export JAVA_HOME=/usr/java/jdk1.6.0_45
  
  第二个：core-site.xml
  vim core-site.xml
   
   
     
     
       fs.default.name
       hdfs://itcast:9000
     
     
     
       hadoop.tmp.dir
       /cloud/hadoop-1.1.2/tmp
     
   
   
  第三个：hdfs-site.xml
  vim hdfs-site.xml
   
    
    
      dfs.replication
      1
    
   
   
  第四个：mapred-site.xml
  vim mapred-site.xml
   
     
     
       mapred.job.tracker
       itcast:9001
     
   
   
 2.4将hadoop添加到环境变量
  vim /etc/profile
  
  export JAVA_HOME=/usr/java/jdk1.6.0_45
  export HADOOP_HOME=/cloud/hadoop-1.1.2
  export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
  
  source /etc/profile
 
 2.5格式化HDFS
  hadoop namenode -format
 
 2.6启动hadoop
  start-all.sh
 
 2.7验证集群是否启动成功
  jps(不包括jps应该有5个)
  NameNode
  SecondaryNameNode
  DataNode
  JobTracker
  TaskTracker
  还可以通过浏览器的方式验证
  http://192.168.1.110:50070 (hdfs管理界面)
  http://192.168.1.110:50030 (mr管理界面)
  
  在这个文件中添加linux主机名和IP的映射关系
  C:\Windows\System32\drivers\etc
  
3.配置ssh免登陆
 生成ssh免登陆密钥
 ssh-keygen -t rsa
 执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
 将公钥拷贝到要免登陆的机器上
 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys