Linux之Hadoop伪分布式安装

1.先上传hadoop的安装包到服务器上去

2.安装hadoop至app文件下

tar -zxcf  hadoop-2.4.1.tar.gz  -C  app/ 

 3.修改配置文件

（1）在Hadoop目录的etc配置文件中hadoop文件下进行修改配置操作

cd   $HADOOP_HOME/etc/hadoop（其中$HADOOP_HOME为你自己实际目录名称）

（2） 配置hadoop-env.sh，加入JAVA_HOME

vim hadoop-env.sh

#加入具体Java路径

export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65

（3） 配置core-site.xml，配置hadoop启动项

在configuration标签中加入如下配置

    
    
        fs.defaultFS
        hdfs://master:9000
    
    
    
        hadoop.tmp.dir
        /home/hadoop/app/hadoop-2.4.1/tmpdata
    

（4）配置hdfs-site.xml，配置运行的细节

在configuration标签中加入如下配置

    
    
        dfs.replication
        1
    

（5）配置mapred-site.xml，指定mr运行框架

先改名，将mapred-site.xml.template改名为mapred-site.xml

mv   mapred-site.xml.template   mapred-site.xml

进入vim mapred-site.xml，在configuration标签中加入如下配置

    
    
        mapreduce.framework.name
        yarn
    

（6）配置yarn-site.xml，指定yarn的细节

在configuration标签中加入如下配置

    
    
        yarn.resourcemanager.hostname
        master
    
    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

       
      yarn.nodemanager.resource.memory-mb
      20480
   
   
      yarn.scheduler.minimum-allocation-mb
      2048
   
   
      yarn.nodemanager.vmem-pmem-ratio
      2.1

4.将hadoop添加到环境变量

打开系统配置文件

vim /etc/proflie

加入hadoop配置信息

 export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

重新加载配置文件

source /etc/profile

5. 格式化主节点namenode

hadoop namenode -format

 6.启动hadoop

先启动HDFS

start-dfs.sh

再启动YARN

start-yarn.sh 

7.验证是否启动成功 

使用jps命令验证当前进程

节点已经正常启动，我们可以访问下面地址（192.168.2.100自己的系统IP地址） 进一步验证

http://192.168.2.100:50070 （HDFS管理界面）

 http://192.168.2.100:8088 （MR管理界面）