linux安装hadoop详细步骤(伪分布式)

今天重装了下hadoop,特在此记录下!

一.准备好hdk和hadoop安装文件,上传到linux

linux安装hadoop详细步骤(伪分布式)_第1张图片

二.安装jdk,我之前博客有专门写过安装jdk步骤,这里就不重复了,有需要的小伙伴可以去翻翻之前的

三.安装hadoop

    1.解压hadoop tar -zxvf hadoop文件

    2.修改配置文件/usr/wangjian/software/hadoop/hadoop-2.10.0/etc/hadoop

        第一个:hadoop-env.sh
        vim hadoop-env.sh
        export JAVA_HOME=/usr/wangjian/software/jdk/jdk1.8.0_241

       

第二个:core-site.xml

        
        
            fs.defaultFS
            hdfs://wangjian:9000
        

        
        
            hadoop.tmp.dir
            /usr/wangjian/software/hadoop/hadoop-2.10.0/data
   

第三个:hdfs-site.xml  
        
        
            dfs.replication
            1
       

第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
        mv mapred-site.xml.template mapred-site.xml
        vim mapred-site.xml
        
        
            mapreduce.framework.name
            yarn
   

第五个:yarn-site.xml
        
        
            yarn.resourcemanager.hostname
            wangjian
   

        
   
            yarn.nodemanager.aux-services
            mapreduce_shuffle
     

3.将hadoop添加到环境变量

linux安装hadoop详细步骤(伪分布式)_第2张图片

4.格式化namenode(是对namenode进行初始化)

    hadoop namenode -format

linux安装hadoop详细步骤(伪分布式)_第3张图片

5.启动hadoop     cd /usr/wangjian/software/hadoop/hadoop-2.10.0/sbin
        先启动HDFS
        sbin/start-dfs.sh
        需要输入几次登录密码

        jps查看启动程序

linux安装hadoop详细步骤(伪分布式)_第4张图片
        再启动YARN
        sbin/start-yarn.sh

       输入密码

6.验证是否启动

jps

linux安装hadoop详细步骤(伪分布式)_第5张图片

在浏览器输入地址http://192.168.36.239:50070 (HDFS管理界面)

linux安装hadoop详细步骤(伪分布式)_第6张图片

http://192.168.36.129:8088 (MR管理界面)

linux安装hadoop详细步骤(伪分布式)_第7张图片

你可能感兴趣的:(linux,hadoop,linux)