Ubuntu安装hadoop2.7.1----伪分布搭建

先上传hadoop的安装包到服务器上去/home/hadoop/
    注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
    伪分布式需要修改5个配置文件
    3.1配置hadoop
    第一个:hadoop-env.sh
        vim hadoop-env.sh
        #第27行
        export JAVA_HOME=/usr/java/jdk1.8.0_65
        
    第二个:core-site.xml

        
        
            fs.defaultFS
            hdfs://mater:9000
        

        
        gedit
            hadoop.tmp.dir
            /home/hadoop/hadoop-2.7.1/tmp
   

        
    第三个:hdfs-site.xml   hdfs-default.xml  (3)
        
        
            dfs.replication
            1
   

        
    第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
        mv mapred-site.xml.template mapred-site.xml
        vim mapred-site.xml
        
        
            mapreduce.framework.name
            yarn
   

        
    第五个:yarn-site.xml
        
        
            yarn.resourcemanager.hostname
            master
   

        
   
            yarn.nodemanager.aux-services
            mapreduce_shuffle
    

         
    3.2将hadoop添加到环境变量
    
    vim /etc/proflie
        export JAVA_HOME=/usr/java/jdk1.7.0_65
        export HADOOP_HOME=/itcast/hadoop-2.4.1
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    source /etc/profile
    
    3.3格式化namenode(是对namenode进行初始化)
        hdfs namenode -format (hadoop namenode -format)
        
    3.4启动hadoop
        先启动HDFS
        sbin/start-dfs.sh
        
        再启动YARN
        sbin/start-yarn.sh
        
    3.5验证是否启动成功
        使用jps命令验证
        27408 NameNode
        28218 Jps
        27643 SecondaryNameNode
        28066 NodeManager
        27803 ResourceManager
        27512 DataNode
    
        http://master:50070 (HDFS管理界面)
        http://master:8088 (MR管理界面)

你可能感兴趣的:(Ubuntu,hadoop)