hadoop的安装和三种模式的配置

Hadoop安装

在Linux、Windows、macOS下安装都需要先安装java环境,再安装hadoop,均需要配置环境变量。怎么配置可自行查找资料,这里就不介绍了。

Hadoop的运行模式配置

Hadoop的运行模式分为3种:本地运行模式、伪分布运行模式、集群运行模式。

1、独立模式即本地运行模式

无需运行任何守护进程,所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式适宜用在开发阶段。独立模式无需配置任何文件。

2、伪分布运行模式

如果Hadoop对应的Java进程都运行在一个物理机器上,称为伪分布运行模式。以Windows为例,在其它系统下,需要修改路径。Linux下需要在hadoop-2.7.2/etc/hadoop/hadoop-env.sh指定java环境变量

伪分布运行模式需要配置core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

core-site.xml:指定hadoop的主节点master。

hdfs-site.xml:指定hadoop中的文件副本数。

mapred-site.xml:指定mapreduce的资源管理。

yarn-site.xml:

core-site.xml配置如下:

        hadoop.tmp.dir

        /G:/tmp

/home/hadoop/bigdata/temp

        Abase for other temporary directories.

 

        fs.default.name

        hdfs://localhost:9000   

hdfs-site.xml配置:

       

              dfs.replication

              1

       

 

        dfs.namenode.name.dir

        /G:/tmp/data/namenode

   

   

        dfs.datanode.data.dir

        /G:/tmp/data/datanode

  dfs.namenode.secondary.http-address

    http://localhost:50090

 

mapred-site.xml配置:

     

            mapreduce.framework.name

            yarn(选择yarn来mapreduce)

     

yarn-site.xml配置:

       

                yarn.resourcemanager.hostname

                localhost

       

       

                yarn.nodemanager.aux-services

                mapreduce_shuffle

       

Windows下启动hadoop

1、运行cmd窗口,切换到hadoop安装目录下的bin目录下执行hdfs namenode -format

2、运行cmd窗口,切换到hadoop的sbin目录,执行start-all.cmd,它将会启动5个进程。

启动之后,可用jps命令查看,如下图,然后可进行增删改查、创建的命令操作。

Linux下启动hadoop

1、切换到hadoop安装目录下的bin目录下执行hdfs namenode -format

2、切换到hadoop的sbin目录,执行start-all.sh,它将会启动5个进程。

启动之后,可用jps命令查看。

3、集群模式

Linux系统,在虚拟机中创建四台系统:首先创建4台虚拟机,分别命名为hp001、hp002、hp003、hp004。安装成功后,然后分别修改主机名(hp001、hp002、hp003、hp004),再修改/etc/hosts文件(hp002、hp003、hp004同hp001),本机IP对应主机名。

hadoop1  node1作为名称节点

hadoop2  node2作为辅助名称节点

hadoop3  node3作为数据节点

hadoop4  node4作为数据节点

完全分布式配置方式:配置文件/home/hadoop/bigdata/hadoop-2.7.2/etc/hadoop/下的四个xml文件。

core-site.xml

       

  fs.defaultFS

  hdfs://hp001

 

 

  hadoop.tmp.dir

  /home/hadoop/bigdata

 

hdfs-site.xml

       

                dfs.replication

                3

       

       

  dfs.namenode.secondary.http-address

    hp002:50090

 

mapred-site.xml

       

                mapreduce.framework.name

                yarn

       

yarn-site.xml

       

  yarn.resourcemanager.hostname

  hp001

 

 

  yarn.nodemanager.aux-services

  mapreduce_shuffle

   

把/home/hadoop/bigdata/hadoop-2.7.2/etc/hadoop/slaves文件修改为

hp003

hp004

在集群上分发以上5个文件

cd /home/hadoop/bigdata/hadoop-2.7.2/etc/hadoop

xsync core-site.xml

xsync hdfs-site.xml

xsync mapred-site.xml

xsync yarn-site.xml

xsync slaves

首次启动hadoop

1)格式化文件系统

$>hadoop namenode -format

2)启动所有进程

$>start-all.sh

3)查询进程

$>xcall jps

你可能感兴趣的:(hadoop的安装和三种模式的配置)