Centos 6.9搭建Hadoop分布式

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。下面我简单说说在centos6.9上搭建Hadoop分布式：

准备工作：三台虚拟机，网卡是net模式

主机IP：bigdatamaster.com      192.168.0.60

      bigdatawork01.com     192.168.0.61

      bigdatawork02.com     192.168.0.62

1.    修改主机名

vim /etc/sysconfig/network

三台虚拟机都要修改

2.    关闭selinux

vim /etc/sysconfig/selinux

修改enforcing为disabled

3.    关闭防火墙

service iptables stop

4.    永久关闭防火墙

chkconfig iptables off

5.    检测防火墙状态

service iptables status

6.    修改本地host文件

vim /etc/hosts

7.    建立文件

mkdir -p /opt/modules/hadoop-2.5.0/tmp/archy-hadoop

8.    配置java环境

Java环境配置传送阵

9.  配置ssh

SSH配置传送阵

10.    配置hadoopjava环境

a)     hadoop-env.sh(第25行)、yarn-env.sh(第20行)、mapred-env.sh(第16行)这三个文件只配置Java环境；

b)     配置core-site.xml文件

        fs.defaultFS
        hdfs://bigdatamaster.com:8020


 
         hadoop.tmp.dir
         /opt/modules/hadoop-2.5.0/tmp/archy-hadoop

c)     配置yarn-site.sh文件

	mapreduce.framework.name
	yarn


	yarn.nodemanager.aux-services
	mapreduce_shuffle


	yarn.resourcemanager.hostname
	bigdatamaster.com


	yarn.log-aggregation-enable
	true


	yarn.log-aggregation.retain-seconds
	86400


	mapreduce.jobhistory.address
	bigdatamaster.com:10020


	mapreduce.jobhistory.webapp.address
	bigdatamaster.com:19888

d)     配置hdfs-site.xml文件

        dfs.replication
        3


         dfs.namenode.http-address
         bigdatamaster.com:50070


        dfs.namenode.secondary.http-address
        bigdatawork01.com:50090


	dfs.permissions
	false

11.    配置slaves文件

vim slaves

12.    把hadoop2.5.0文件夹复制到从服务器上

scp -r /opt/modules/hadoop-2.5.0/ [email protected]:/opt/modules/

13.    格式化：

cd /opt/modules/hadoop-2.5.0/bin
./hdfs namenode –format

14.    启动hadoop

./start-all.sh

15.成功：