hadoop-2.6.5-centos-6.7集群的安装

一下都是在hadoop用户下操作的

1.下载hadoop-2.6.5-centos-6.7.tar

上传到Hadoop01

软件安装包放在soft下  安装在Apps下

2.修改Hadoop的配置文件

2.1修改vi hadoop-env.sh 

把他改为：export JAVA_HOME=/usr/local/jdk1.8.0_73

2.2修改vi core-site.xml 

        
        
                fs.defaultFS
                hdfs://hadoop01:9000
        



        
        
                hadoop.tmp.dir
                /home/hadoop/hadoop-2.6.5/tmp
        

2.3修改vi hdfs-site.xml  

        
        
                dfs.replication
                2
        

        
                dfs.secondary.http.address
                hadoop02:50090
        

2.4修改 mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

        
        
                mapreduce.framework.name
                yarn
        

2.5修改vi yarn-site.xml 

        
        
        
                yarn.resourcemanager.hostname
                hadoop01
        

        
        
                yarn.nodemanager.aux-services
                mapreduce_shuffle
        

2.6修改vi slaves 

hadoop02
hadoop03
hadoop04

3修改Hadoop环境变量

sudo vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_73
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

4.分发安装包到各个节点

scp -r hadoop-2.6.5/ hadoop02:$pwd

scp -r hadoop-2.6.5/ hadoop03:$pwd

scp -r hadoop-2.6.5/ hadoop04:$pwd

5.在主节点上初始化namenode

hadoop namenode -format

6 启动hdfs 

sbin/start-dfs.sh 

结果在主节点上启动了一个 namenode守护进程

结果在每个从节点上都启动了一个datanode守护进程

在特定的节点上启动了一个secondnamenode守护进程

7 启动yarn

sbin/start-yarn.sh 

结果在yarn的主节点上启动了一个resourcemanager守护进程

在yarn的从节点上都启动了一个nodemanager守护进程

8 测试集群是否安装成功

1 测试hdfs是否安装成功

hadoop fs -ls /

2.测试yarn是否安装成功   

cd  /home/hadoop/apps/hadoop-2.6.5/share/hadoop/mapreduce

hadoop jar hadoop-mapreduce-examples-2.6.5.jar pi 10 10

9.测试web界面的访问

1 第一种方式http://192.168.197.201:50070

2 第二种http://hadoop01:50070

修改

Windows下主机名和IP映射设置

 打开系统目录：c:/windows/system32/drivers/etc找到hosts文件，打开hosts文件并在最后面添加一条记录

192.168.197.201  hadoop01 192.168.197.202  hadoop02 192.168.197.203  hadoop03 192.168.197.204  hadoop04