2019-10-18

                                                                   大数据部署一
一、Hadoop分布署集群搭建(相关配置文件):

1、配置Jdk和Hadoop的环境变量。

2、配置hadoop-env.sh文件:

A:配置Hadoop的堆内存大小: export HADOOP_HEARPSIZE = 100

2、配置mapred-env.sh文件:

A:修改默认的JAVA_HOME

3、配置yarn-env.sh文件:

  A：修改JAVA堆内存大小:JAVA_HEAP_MAX=-xMX300m

  B:修改yarn堆内存大小:YARN_HEAPSIZE=100

4、配置core-site.xml文件:

    

           fs.defaultFS

           hdfs://master:8020

    

hadoop.tmp.dir

/opt/software/hadoop/data

fs.trash.interval

14400

5、配置yarn-size.xml文件:

yarn.resourcemanager.hostname

master

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.log-aggregation-enable

true

yarn.log-aggregation.retain-seconds

86400

yarn.nodemanager.pmem-check.enabled

false

yarn.nodemanager.vmem-check-enabled

false

yarn.nodemenager.resource.memory-mb

1024

yarn.sheduler.minimum-allocation-mb

100

yarn.sheduler.maxmum-allocation-mb

20480

yarn.nodemanager.resource.cpu-vcores

2

yarn.sheduler.minimum-allocation-vcores

1

yarn.sheduler.maxmum-allocation-vcores

32

yarn.resourcemanager.sheduler.class

org.apache.hadoop.yarn.server.recourcemanager.sheduler.fair.FairSheduler

yarn.sheduler.fair.preemption

true

yarn.scheduler.fair.preemption.cluster-utilization-treshold

0.8

6、hdfs-size.xml文件配置:

dfs.replication

2

dfs.namenode.secondary.http-address

master:50070

dfs.permissions.enabled

false

7、配置mapper-site.xml文件:

mapreduce.jobhistory.address

master:10020

mapreduce.jobhistory.webapp.address

master:19888

mapreduce.framework.name

yarn

8、将配置文件发到其他机器上。

9、格式化namdenode文件系统(只在第一次启动前执行)。

hadoop namenode -format

10、启动hadoop。

A:启动hdfs:start-dfs.sh。

B:启动yarn:start-yarn.sh。

11、jps查询启动进程情况。

二、Zookeeper分布式集群搭建

1、解压缩包。

2、配置zoo.cfg文件:

A:dataDir=XXXXX

B:dataLogDir=XXXX

server.1=slave1:2888:3888

server.2=slave:2888:3888

server.3=slave3:2888:3888

3、myId配置:

在dataDir目录下配置myId。

4、将配置文件发到其他机器。

5、配置Zookeeper环境变量

6、启动服务(每台机器都开启)：

zkServer.sh start。

三、Hbase集群环境搭建:

1、解压包。

2、配置hbase-site.xml文件:

hbase.rootdir

hdfs://master:8020/hbase

hbase.cluster.distributed

true

hbase.zookeeper.quorm

slave1,slave2,slave3

hbase.regionserver,restart.on.zk.expire

true

hbase.coprocessor.abortonerror

false

3、配置regionServers

4、将配置文件发送到其他机器上。

5、配置backup-masters。

6、配置hbase环境变量。

7、启动hbase集群:

   start-hbase.sh