Hadoop伪分布式集群的搭建

1,jdk安装,这里省略
2,安装Hadoop软件(直接加压就能使用,这里也不做解释)
3,主要说下需要配置那些文件

  1. 修改etc/hadoop/core-site.xml:


    fs.defaultFS
    hdfs://localhost:9000



    2,配置etc/hadoop/hdfs-site.xml:
<configuration>
    <property>
        <name>dfs.replicationname>
        <value>1value>
    property>
configuration>
3,终端输入下面这个命令来格式化
$ bin/hdfs namenode -format

完成以上步骤已经可以启动start-dfs.sh了,启动后可以使用jps命令来查看是否启动
4,修改etc/hadoop/mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.namename>
        <value>yarnvalue>
    property>
configuration>
5,修改etc/hadoop/yarn-site.xml:
<configuration>
    <property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
    property>
configuration>

已经配置完成,使用$ sbin/start-yarn.sh来启动
完成后用jps查看进程如下
Hadoop伪分布式集群的搭建_第1张图片

看是否进程都启动了,如果有部分进程没有启动可以从以下方面考虑
1,查看防火墙是否关闭
2,查看配置是否有问题
3,找大神求教吧,我无能为力了

最后的忠告,如果英文水平不是太差的话建议看官方文档,你会有不一样的收获,祝好

你可能感兴趣的:(Hadoop伪分布式,大数据)