Hadoop(一)伪分布式安装Hadoop

Hadoop(一)乌班图伪分布式安装Hadoop

1.打开终端

2.安装jdk，去官网中下载jdk（此处只作简单的介绍）-->解压-->配置环境

3.配置SSH免登录

4.配置hadoop环境

4.1官网路径，下载（这里使用的是2.6.4）http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

4.2解压hadoop-2.6.4.tar.gz，并重命名为hadoop

tar xzvf hadoop-2.4.0.tar.gz
mv hadoop-2.4.0 hadoop

4.3配置环境变量，内容如下，而后使之生效：source /etc/environment

4.4在这里提一句，单机模式无需仁和配置 可以直进行测试,略之

4.5伪分布式模式配置：

4.5.1在当前用户目录下创建文件夹tmp/hadoop_tmp

4.5.2etc/hadoop下存放配置文件

4.5.2.1修改hadoop-env.sh

将export JAVA_HOME=${JAVA_HOME}改为你自己安装的jdk路径：

export JAVA_HOME=/usr/lib/java/jdk1.8.0_73

4.5.2.2修改core-site.xml

  
    fs.defaultFS
    hdfs://localhost:9000
    true
  

  
    hadoop.tmp.dir
    /home/judy/tmp/hadoop_tmp
  

4.5.2.3修改hdfs-site.xml:

 
      dfs.namenode.name.dir
      /home/judy/Desktop/Hadoop/hadoop/dfs/namenode
      true
          
     
       dfs.datanode.data.dir
       /home/judy/Desktop/Hadoop/hadoop/dfs/datanode
      true
    
    
      dfs.http.address
      localhost:50070
       
         The address and the base port where the dfs namenode web ui will listen on.
If the port is 0 then the server will start on a free port.
      
    
    
      dfs.replication
      1
    
    
      dfs.permissions
      false
    

4.5.2.4修改mapred-site.xml

  
      mapreduce.framework.name
      yarn
    
    
      mapred.job.tracker
      hdfs://localhost:9001
    
          
          mapred.system.dir  
          file:/home/ylf/hadoop/mapred/system  
          true  
          
       
          
          mapred.local.dir  
          file:/home/ylf/hadoop/mapred/local  
          true  
         

4.2.2.5修改yarn-site.xml

 

    yarn.nodemanager.aux-services

    mapreduce_shuffle

    shuffle service that needs to be set for Map Reduce to run

  

  

    yarn.resourcemanager.hostname

    localhost

    hostname of Resource Manager

  

4.2.2.6修改slaves文件

localhost

默认就是localhost,所以不用修改。

启动伪分布式模式：

第一次启动都要格式化下数据文件，命令：

./bin/hdfs namenode -format

格式化将会在在hdfs文件夹下新建datanode和namenode

4.3启动hadoop

./sbin/start-all.sh

停止

./sbin/stop-all.sh

4.4查看

jps

4.5JobHistoryServer启动

4.6启动结果

web访问端口

NameNode	50070
ResourceManager	8088
MapReduce JobHistory Server	19888

以上为乌班图的搭建方式；

我自己还在centos 6.5上进行了搭建，参考的是：http://www.linuxidc.com/Linux/2016-07/133508.htm

并且遇到了一些坑，希望对你们有帮助：http://blog.csdn.net/u013725455/article/details/70147331

以及如需要对外访问记得添加防火墙端口：

8088：hadoop集群管理界面

50070：hdfs的管理界面

9000:hdfs仓储地址