Linux安装Hadoop2.4.1和伪分布式部署

Hadoop平台都是基于Linux系统下的，今天我们来讲解Hadoop的安装教程

一.先安装JDK，详情安装清查看我的另一篇文章：点击打开链接

二.安装Hadoop

（1）先上传hadoop的安装包到服务器上去/usr/local/src

（2）解压到指定目录

[hadoop@hadoop02 src]$ tar -zxvf hadoop-2.4.1.tar.gz -C ~/app

（3）重命名，解决繁杂的版本标识

[hadoop@hadoop02 app]$ mv hadoop-2.4.1 hadoop

（4）配置系统变量

[hadoop@hadoop02 app]$ sudo vi /etc/profile

#Jdk #Hadoop
export JAVA_HOME=/home/hadoop/app/jdk
export HADOOP_HOME=/home/hadoop/app/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

重启资源： source /etc/profile

（5）伪分布式需要修改5个配置文件

首先进入hadoop/etc/hadoop目录下面

第一个：hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/home/hadoop/app/jdk

第二个：core-site.xml

（1）首先创建tmp文件夹

[hadoop@hadoop02 hadoop]$ mkdir ~/app/hadoop/tmp

（2）vim core-site.xml

fs.defaultFS
hdfs://hadoop02:9000



hadoop.tmp.dir
/home/hadoop/app/hadoop/tmp
   

（3）第三个：hdfs-site.xml

   
       dfs.replication
       1
   

（4）第四个：mapred-site.xml

   首先重命名一下这个文件

[hadoop@hadoop02 hadoop]$ mv mapred-site.xml.template mapred-site.xml

然后进行修改就可以了

    
	mapreduce.framework.name
	yarn
    

（5）第五个：yarn-site.xml

     
	        yarn.resourcemanager.hostname
		hadoop02
    
		
    
		yarn.nodemanager.aux-services
		mapreduce_shuffle
     

（6）在次配置haddop环境变量

添加

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

重置改资源状态source /etc/profile

（7）格式化namenode（是对namenode进行初始化）

hadoop namenode -format

hdfs namenode -format

看到写信息就便是已经安format成功

（8）   1.启动hadoop

             2.先启动HDFS
    sbin/start-dfs.sh

    3.再启动YARN
sbin/start-yarn.sh

           4.验证是否启动成功
使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

http://192.168.2.11:50070 （HDFS管理界面）

http://192.168.2.11:8088 （MR管理界面）

待续...