Hadoop伪分布式搭建(小白推荐,超详细)

一、修改配置文件:core-site.xml,hdfs-site.xml,yarn.site.xml,mapred-site.xml

四个文件地址全部在/opt/hadoop/etc/hadoop下

1.core-site.xml



    fs.defaultFS
    hdfs://hadoop1:9000   




    hadoop.tmp.dir
    /opt/temp/data

2.hdfs-site.xml


    dfs.replication
    1

3.yarn-site.xml



    yarn.nodemanager.aux-services
    mapreduce_shuffle




    yarn.resourcemanager.hostname
    hadoop1

4.mapred-site.xml

1)修改文件名字mapred-site.xml.template为mapred-site.xml



    mapreduce.framework.name
    yarn

5.修改hadoop-env.sh和yarn-env.sh的JAVA_HOME

二、格式化namenode

hdfs namenode -format

 

此处为0则正确

三、启动进程

1.启动hdfs进程

start.dfs.sh

2.启动yarn进程

start-yarn.sh

3.查看已启动进程

jps

查看是否有以下进程

jps,SecondaryNameNode,NameNode,DataNode则说明配置成功。
       若没有SecondaryNameNode,需要stop-dfs.sh关闭进程重新开启,
       如果没有NameNode,DataNode,则需要检查前面的文件是否有配置错误
成功启动后在浏览器的web界面输入localhost:50070,此时会弹出分布式文件系统的提示界面

你可能感兴趣的:(hadoop,大数据)