一、 说明
学习过程中顺便记录下来，方便更多人使用，初学错误请指正。
二、 安装虚拟机（本文采用CentOS 7）
1. 本文采用CetnOS7安装部署
2. jdk1.8
3. Hadoop 2.7.3
| hostname | ip |
|---|---|
| master | 10.10.1.3 |
| slave1 | 10.10.1.4 |
三、 安装jdk，配置防火墙，SSH
- 修改hostname
centos7 修改hostname 与centos6.5有较大差异。
将10.10.1.3作为master机器，10.10.1.4作为slave1机器。
[hadoop@slave1 .ssh]$ hostnamectl set-hostname slave1
- 修改hosts文件
[hadoop@master ~]$ vim /etc/hosts
如果没有vim命令请执行yum install -y vim安装
10.10.1.3 master
10.10.1.4 slave1
#追加到hosts文件最后，两台机器都要添加。
- 安装jdk
3.1 卸载系统自带openjdk
3.1.1. 卸载系统内置jdk命令如下：
这时会列出系统中已经存在的jdk版本名称。rpm -qa | grep java
3.1.2. 使用卸载命令进行卸载：
rpm -e --nodeps jdk相关名称
3.2 jdk安装
3.2.1. 下载jdk版本到home目录
3.2.2. 解压安装,解压安装命令如下：
rpm -ivh rpm文件名称
3.2.3. 执行完成，代表安装成功，默认安装目录为：
/usr/java/jdk1.8.0_91
3.3 配置环境变量
3.3.1. rpm安装成功后使用 java -version 是可以查看出已经安装的版本：
3.3.2. 为了保险起见还是需要在root用户与hadoop 用户下配置profile文件，输入下面命令：
vim /etc/profile
在文章末尾追加
export JAVA_HOME=/usr/java/jdk1.8.0_91
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
切换用户：su hadoop,并执行命令：
vim ~/.bashrc
在文章末尾追加
export JAVA_HOME=/usr/java/jdk1.8.0_91
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
到此环境变量配置完成。
- 配置ssh免密登陆
4.1. 生成密钥[hadoop@master ~]$ ssh-keygen -t rsa
输上面命令后一路回车，可在当前用户目录下生成.ssh文件，每台机器都要设置。
4.2. 合并公钥到authorized_keys文件，在Master服务器，进入.ssh目录，通过SSH命令合并
[hadoop@master ~]$ cat id_rsa.pub>> authorized_keys
4.3. slave1节点增加master免密登陆
[hadoop@master ~]$ ssh-copy-id [email protected]
4.4. 测试ssh登陆
登陆成功，设置完成。
- 关闭防火墙
因为hadoop需要开放端口太多，这里暂时将防火墙关闭。关闭防火墙必须在root用户下，使用下面的命令：
#关闭防火墙
[root@master ~]$ systemctl stop firewalld.service
#关闭开机自启动
[root@master ~]$ systemctl disable firewalld.service
四、 安装Hadoop
- 下载并解压到/usr/local/hadoop 目录下，并将hadoop目录赋权给hadoop用户。
[root@master ~]$ chown -R haddop:hadoop /usr/local/hadoop/
- 创建数据存放目录
[hadoop@master ~]$ cd /usr/local/hadoop
[hadoop@master ~]$ mkdir tmp
[hadoop@master ~]$ mkdir -p hdfs/data hdfs/name
- 修改core-site.xml文件
fs.default.name
hdfs://master:9000
io.file.buffer.size
131072
hadoop.tmp.dir
file:/home/hadoop/tmp
Abase for other temporary directories.
- 修改hdfs-site.xml文件
dfs.namenode.secondary.http-address
linux-node1:9001
# 通过web界面来查看HDFS状态
dfs.namenode.name.dir
file:/home/hadoop/dfs/name
dfs.datanode.data.dir
file:/home/hadoop/dfs/data
dfs.replication
2
# 每个Block有2个备份
dfs.webhdfs.enabled
true
- 修改mapred-site.xml
这个是mapreduce任务的配置，由于hadoop2.x使用了yarn框架，所以要实现分布式部署，必须在mapreduce.framework.name属性下配置为yarn。mapred.map.tasks和mapred.reduce.tasks分别为map和reduce的任务数。
mapreduce.framework.name
yarn
mapreduce.jobhistory.address
master:10020
mapreduce.jobhistory.webapp.address
master:19888
- 配置节点yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
yarn.resourcemanager.address
master:8032
yarn.resourcemanager.scheduler.address
master:8030
yarn.resourcemanager.resource-tracker.address
master:8031
yarn.resourcemanager.admin.address
master:8033
yarn.resourcemanager.webapp.address
master:8088
yarn.nodemanager.resource.memory-mb
8192
- 配置hadoop环境变量
[root@master ~]$ vim /etc/profile
#将之前修改的java 环境变量替换掉。
export JAVA_HOME=/usr/java/jdk1.8.0_91
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
[hadoop@master ~]$ vim ~/.bashrc
export JAVA_HOME=/usr/java/jdk1.8.0_91
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
到此配置结束。
至于有些教程中写道要修改hadoop-env.sh、yarn-env.sh的JAVA_HOME，经过测试只要设置了root 跟 hadoop 用户的profile，与 .bashrc 文件就不存在此问题。
- 复制hadoop 配置文件到 slave1 节点。
[hadoop@master ~]$ scp -r /usr/local/hadoop/ slave1:/home/hadoop/
五、 启动集群
- 在master节点使用hadoop用户初始化NameNode
[hadoop@master ~]$ hdfs namenode –format
#执行后控制台输出，看到 Exiting with status 0 表示格式化成功。
- 启动hadoop
#启动hdfs
[hadoop@master ~]$ start-dfs.sh
#启动yarn分布式计算框架
[hadoop@master ~]$ start-yarn.sh
- 启动jobhistory服务，查看mapreduce状态
[hadoop@master ~]$ mr-jobhistory-daemon.sh start historyserver
-
查看HDFS分布式文件系统状态
验证是否启动成功
[hadoop@master ~]$ jps
-
web页面查看hadoop集群状态
注意端口号不同
到此启动成功