Hadoop 2.6.1 集群安装配置教程

集群环境：
192.168.56.10 master
192.168.56.11 slave1
192.168.56.12 slave2

1. 下载安装包/拷贝安装包

# 存放路径：
cd /usr/local/src
# 下载：
> wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.2/hadoop-2.8.2.tar.gz
# 解压：
> tar zxvf hadoop-2.6.1

2. 修改 hadoop 配置文件

#Master  节点
> cd /usr/local/src/hadoop-2.6.1/etc/hadoop

# 配置环境hadoop环境
> vim hadoop-env.sh
# 添加Java 路径
> export JAVA_HOME=/usr/local/src/jdk1.8.0_181

# 配置 yarn 的环境
>vim yarn-env.sh
# 添加Java路径
export JAVA_HOME=/usr/local/src/jdk1.8.0_181

# 在 slaves 文件配置从节点
> vim slaves
slave1
slave2

# 配置 core-site.xml，添加下面的内容
> vim core-site.xml



fs.defaultFS
hdfs://192.168.56.10:9000


hadoop.tmp.dir
file:/usr/local/src/hadoop-2.6.1/tmp



# 配置hdfs-site.xml, 添加下面的内容
vim hdfs-site.xml


dfs.namenode.secondary.http-address
master:9001


dfs.namenode.name.dir
file:/usr/local/src/hadoop-2.6.1/dfs/name


dfs.datanode.data.dir
file:/usr/local/src/hadoop-2.6.1/dfs/data


dfs.replication
3



# 配置mapred-site.xml，添加下面的内容
> vim mapred-site.xml


mapreduce.framework.name
yarn



#配置yarn-site.xml，添加下面的内容
> vim yarn-site.xml


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler

	
yarn.resourcemanager.address
master:8032


yarn.resourcemanager.scheduler.address
master:8030


yarn.resourcemanager.resource-tracker.address	
master:8035


yarn.resourcemanager.admin.address
master:8033


yarn.resourcemanager.webapp.address
master:8088



#创建临时目录和文件目录
mkdir /usr/local/src/hadoop-2.6.1/tmp
mkdir -p /usr/local/src/hadoop-2.6.1/dfs/name
mkdir -p /usr/local/src/hadoop-2.6.1/dfs/data

3. 配置环境变量

#Master、Slave1、Slave2
vim ~/.bashrc
HADOOP_HOME=/usr/local/src/hadoop-2.6.1
export PATH=$PATH:$HADOOP_HOME/bin
#刷新环境变量
source ~/.bashrc

4. 拷贝安装包，把安装目录连同已经配置好的配置文件一起传输到从节点

# Master
scp -r /usr/local/src/hadoop-2.6.1 root@slave1:/usr/local/src/hadoop-2.6.1
scp -r /usr/local/src/hadoop-2.6.1 root@slave2:/usr/local/src/hadoop-2.6.1

5. 启动集群

# Master
# 初始化Namenode
hadoop namenode -format
# 启动集群
cd /usr/local/src/hadoop-2.6.1/sbin
./start-all.sh

6. 查看集群状态

# Master
> jps
10624 NameNode
26517 Jps
10825 SecondaryNameNode
10969 ResourceManager

# Slave1 & Slave2
> jps
23760 Jps
7197 NodeManager
7102 DataNode

7. 监控网页

http://192.168.56.10:8088

8. 操作命令

1) 查看HDFS的文件
hadoop fs -ls /
2) 查看文件内容
hadoop fs -cat /filename
3) 上传文件
hadoop fs -put 本机文件  /fs文件路径
hadoop fs -put /usr/local/src/tmp/test.java /

9. 关闭集群

> cd  /usr/local/src/hadoop-2.6.1/sbin
> ./stop-all.sh

注意！！！

1. 如果配置完成后，启动hadoop报错，那么根据报错的内容去logs文件夹中找到对应的文件，查看并分析日志。改完错误后，需要清除dfs文件夹和tmp文件夹里面的内容，master、slave1、slave2都要清除，不只是清理master而已。
2. Centos7关闭防火墙的方法
   临时关闭
   systemctl stop firewalld
   禁止开机自启
   systemctl disable firewalld