hadoop2.6.5配置

 我的配置参考了"我是菜鸟要早起"的博客，他的链接:http://blog.csdn.net/licongcong_0224/article/details/12972889

使用VMare建3个虚拟机（使用CentOS7系统），三个虚拟机IP为：

192.168.100.130、192.168.100.131、192.168.100.134     
192.168.100.130 作为 master 节点，其他两个IP作为 slave 节点
一、在3个节点上的hosts文件配置IP与主机名的映射：
找到/etc/hosts，在里面加入三行：
192.168.100.130   master  
192.168.100.131   slave1  
192.168.100.134   slave2 

二、配置SSH免密码登录
1、找到/etc/ssh/sshd_config,去掉注释符”#“
RSAAuthentication yes
　　PubkeyAuthentication yes
　　AuthorizedKeysFile  .ssh/authorized_keys
2、在每个节点上生成公钥和私钥
ssh-keygen -t rsa -P ""  
3、在master 上，进到~/.ssh目录下，执行
cat id_rsa.pub >> authorized_keys
4、分别将slave1和slave2上的公钥加到master上
的authorized_keys文件里
在slave1：
scp id_rsa.pub   master:~/.ssh/id_rsa.pub.s1   slave1
在slave2：
scp id_rsa.pub   master:~/.ssh/id_rsa.pub.s2 slave2
在master上（注意进到~/.ssh目录下）：
cat id_rsa.pub.s1 >> authorized_keys master
cat id_rsa.pub.s2 >> authorized_keys master
chmod  600  authorized_keys
可以尝试下是是否成功了
ssh localhost 
第一次应该会要求输入yes/no  
输入yes之后就登录成功了
同样的，ssh slave1\ssh  master\ssh  slave2，
会出现类似的结果,这时候应该不需要输密码了
如果还是要输入密码，
錯誤訊息：Agent admitted failure to sign using the key
使用 ssh-add 指令将私钥加进来（根据个人的密匙命名不同更改 id_rsa）
ssh-add  ~/.ssh/id_rsa （分别在master、slave1、slave2上执行）
如果还不行，那我也没办法了...........

三、新增账户，分配权限
为每台机器新建了一个账户hadoopuser.这里需要给每个账户分配sudo的权限。
（切换到root账户，修改/etc/sudoers文件，
增加：hadoopuser  ALL=(ALL) ALL ）

四、确认已安装jdk，若没有安装就安装一下JDK并配置一下环境变量，
过程自己百度

五、关闭防火墙（之前因为没做这一步，namenode和datanode节点虽然起来，
但在web控制台上看到的livenode 数目为0）
各个版本的linux稍有差异，在CentOS7上是：
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动


六、拷贝hadoop包到各个节点的相同目录下，并进行解压


七、配置文件配置
进到hadoop安装根目录下的/etc/hadoop/下
共有7个文件要配置：
~/hadoop-2.6.5/etc/hadoop/hadoop-env.sh
~/hadoop-2.6.5/etc/hadoop/yarn-env.sh
~/hadoop-2.6.5/etc/hadoop/slaves
~/hadoop-2.6.5/etc/hadoop/core-site.xml
~/hadoop-2.6.5/etc/hadoop/hdfs-site.xml
~/hadoop-2.6.5/etc/hadoop/mapred-site.xml
~/hadoop-2.6.5/etc/hadoop/yarn-site.xml
以上个别文件默认不存在的，可以复制相应的template文件获得。

配置文件1：hadoop-env.sh
修改JAVA_HOME值（export JAVA_HOME=/usr/java/jdk1.7.0_40）

配置文件2：yarn-env.sh
修改JAVA_HOME值（exportJAVA_HOME=/usr/java/jdk1.7.0_40）


配置文件3：slaves （这个文件里面保存所有slave节点）
写入以下内容：
  slave1
  slave2


配置文件4：core-site.xml



   
fs.defaultFS
hdfs://master:9000
   
   
io.file.buffer.size
131072
   
   
hadoop.tmp.dir
file:/home/hduser/tmp
Abase for other temporary directories.
   
   
  hadoop.proxyuser.hduser.hosts
  *
   
   
  hadoop.proxyuser.hduser.groups
  *
   



配置文件5：hdfs-site.xml



   
dfs.namenode.secondary.http-address
master:9001

   
dfs.namenode.name.dir
file:/home/hduser/dfs/name
   
   
dfs.datanode.data.dir
file:/home/hduser/dfs/data


dfs.replication
3

   
   dfs.webhdfs.enabled
   true
   



配置文件6：mapred-site.xml




mapreduce.framework.name
yarn


mapreduce.jobhistory.address
master:10020

   
  mapreduce.jobhistory.webapp.address
  master:19888
   



配置文件7：yarn-site.xml



       
yarn.nodemanager.aux-services
mapreduce_shuffle
       
       
               yarn.nodemanager.aux-services.mapreduce.shuffle.class
               org.apache.hadoop.mapred.ShuffleHandler
       
       
               yarn.resourcemanager.address
               master:8032


yarn.resourcemanager.scheduler.address
master:8030
       
       
yarn.resourcemanager.resource-tracker.address
master:8031
       
         
  yarn.resourcemanager.admin.address
  master:8033
       
       
            yarn.resourcemanager.webapp.address
              master:8088
       



3、复制到其他节点


4、启动验证


4.1 启动hadoop

进入安装目录： cd  ~/hadoop-2.6.5/
格式化namenode：./bin/hdfs namenode –format


启动hdfs: ./sbin/start-dfs.sh
此时在master上面运行的进程有：namenode secondarynamenode
slave1和slave2上面运行的进程有：datanode

启动yarn: ./sbin/start-yarn.sh

此时在master上面运行的进程有：namenode secondarynamenoderesourcemanager
slave1和slave2上面运行的进程有：datanode nodemanaget

查看集群状态：./bin/hdfs dfsadmin –report
查看文件块组成：  ./bin/hdfsfsck / -files -blocks
查看HDFS:    http://192.168.100.130:50070
查看RM:    http://192.168.100.130:8088


**我在http://192.168.100.130:8088看到livenode只有2个，
是slave1和slave2的IP,以为是启动失败了，找了很久发现其实这个
跟slave文件的配置有关，只要把master加进去，关闭再重启hadoop，
就发现livenode变为3个了。这说明livenode指的是活着的datanode。