hadoop集群环境部署

一、hadoop集群环境部署：
（服务器已经搭建好java环境）
1、准备材料：
（1）服务器
（2）hadoop-2.6.5.tar.gz
2、修改服务器主机名，并在hosts文件中添加如下内容：
1.9.6.1 dataNode2 　
1.9.6.2 dataNode1 　
1.9.6.4 nameNode1 
3、设置nameNode到dataNode免密登录
（1）生成SSH免登录秘钥：[escomp@nameNode1 ~]$ ssh-keygen -t rsa；（ssh-keygen -t rsa -P ''一直回车到结束），生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）。
（2）将id_rsa.pub添加至authorized_keys：[escomp@nameNode1 ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
（3）将authorized_keys拷贝到dataNode主机上/home/escomp/.ssh文件夹下
（2-2）或者将A主机生成的id_rsa.pub复制到B主机并且改名为authorized_keys：[A]$ scp id_rsa.pub B:~/.ssh/authorized_keys
3、安装hadoop
（1）在服务其中创建hadoop文件夹。
（2）将hadoop-2.6.5.tar.gz粘贴到hadoop中并解压
（3）修改配置文件（hadoop-2.6.5/etc/hadoop下面）
1）修改hadoop-env.sh中jdk地址
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk.x86_64
2）core-site.xml
 
   
    fs.default.name  
    hdfs://nameNode1:9000 
   
   
    hadoop.tmp.dir  
    /escompdata/hadoop/temp  
    Abasefor other temporary directories. 
   

3）hdfs-site.xml
 
   
    dfs.namenode.secondary.http-address  
    nameNode1:9001 
   
   
    dfs.namenode.name.dir  
    file:///escompdata/hadoop/dfs/name 
   
   
    dfs.datanode.data.dir  
    file:///escompdata/hadoop/dfs/data 
   
   
    dfs.replication  
    1 
   
   
    dfs.webhdfs.enabled  
    true 
   
   
    dfs.permissions  
    false 
   

4）mapred-site.xml
 
   
    mapreduce.framework.name  
    yarn  
    true 
   
   
    mapreduce.jobtracker.http.address  
    nameNode1:50030 
   
   
    mapreduce.jobhistory.address  
    nameNode1:10020 
   
   
    mapreduce.jobhistory.webapp.address  
    nameNode1:19888 
   
   
    mapred.job.tracker  
    http://nameNode1:9001 
   

5）yarn-env.sh中添加JDK
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk.x86_64
6）yarn-site.xml
 
   
    yarn.nodemanager.aux-services  
    mapreduce_shuffle 
   
   
    yarn.nodemanager.aux-services.mapreduce.shuffle.class  
    org.apache.hadoop.mapred.ShuffleHandler 
   
   
    yarn.resourcemanager.address  
    1.9.6.4:8032 
   
   
    yarn.resourcemanager.scheduler.address  
    1.9.6.4:8030 
   
   
    yarn.resourcemanager.resource-tracker.address  
    1.9.6.4:8031 
   
   
    yarn.resourcemanager.admin.address  
    1.9.6.4:8033 
   
   
    yarn.resourcemanager.webapp.address  
    1.9.6.4:8088 
   

7）slaves中添加dataNode主机的主机名
（4）创建下图中的文件夹

（5）对nameNode进行格式化：[escomp@nameNode1 bin]$  hadoop namenode -format
（6）启动hadoop：[escomp@nameNode1 sbin]$ ./start-all.sh 
（7）通过jps查看进程

nameNode节点：

dataNode节点：

（8）通过以下地址访问：

1）http://1.9.6.4:50070/

2）http://1.9.6.4:8088/

 
二、运行程序：
1、创建input目录：
[escomp@nameNode1 hadoop-2.6.5]$ mkdir input
2、在input创建f1、f2并写内容：
[escomp@nameNode1 hadoop-2.6.5]$ vi file1
[escomp@nameNode1 hadoop-2.6.5]$ vi file2
3、在hdfs创建/tmp/input目录：
[escomp@nameNode1 hadoop-2.6.5]$ ./bin/hadoop fs -mkdir /tmp
[escomp@nameNode1 hadoop-2.6.5]$ ./bin/hadoop fs -mkdir /tmp/input
4、将file1、file2文件copy到hdfs /tmp/input目录
[escomp@nameNode1 hadoop-2.6.5]$ ./bin/hadoop fs -put /escompdata/hadoop/input /tmp
5、查看hdfs上是否有file1、file2文件
[escomp@nameNode1 hadoop-2.6.5]$ ./bin/hadoop fs -ls /tmp/input/
6、执行wordcount程序
[escomp@nameNode1 hadoop-2.6.5]$ ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /tmp/input /output
7、查看执行结果
[escomp@nameNode1 hadoop]$ hadoop fs -cat /output/part-r-00000 （命令执行在hadoop-2.6.5上一级）
8、hdfs命令：
（1）查看hdfs中的文件：[escomp@nameNode1 hadoop-2.6.5]$ ./bin/hadoop fs -ls 文件夹
三、hadoop文件权限修改
1、查看文件夹tmp下文件权限：
[escomp@nameNode1 hadoop-2.6.5]$ hadoop fs -ls /tmp
2、修改tmp文件夹下的文件权限
[escomp@nameNode1 hadoop-2.6.5]$ hadoop dfs -chmod -R 755 /tmp/