Hadoop2.8.1伪分布式环境配置

前言

    本文搭建了一个由两节点（master、slave0）构成的Hadoop伪分布式集群，Hadoop版本选取了hadoop2.8.1，本人主要初次搭建Hadoop集群，期间遇到了很多问题，花了好长时间，最终将问题解决，将其过程记录下来，希望能够帮助读者避免一些问题。

环境说明

1. 操作系统：CentOS7
2. jdk: jdk-8u60-linux-x64
3. hadoop: hadoop-2.8.1（Hadoop: http://archive.apache.org/dist/hadoop/core，选择Hadoop2.8.1的安装包）

第一步：准备工作

1、安装虚拟机（VMware Workstation）
2、安装linux操作系统：虚拟机上安装操作系统CentOS7
1）从系统光盘安装CentOS7
2）从其他计算机移植安装
3）从本机克隆安装
3、集群配置：（master、slave0）
1）改变机名：命令：vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
命令：hostname master
命令：vi /etc/hostname
master
2）网络配置：（将前面的两行加注释）
命令：vi /etc/hosts
192.168.35.100 master.localdomain master
192.168.35.101 slaveO.localdomain slaveO
4、关闭防火墙
systemctl status firewalld.service  #检查系统防火墙状态
systemctl stop firewalld.service  # 关闭防火墙
systemctl disable firewalld.service #该命令使防火墙在下次启动计算机的时候取消防火墙服务。
5、卸载系统自带的java
命令：rpm -qa | grep java  #查看系统安装java
命令：rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.101-3.b13.el7_2.x86_64 #删除自带的java(举例)
 #rpm -e --nodeps java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64
 #rpm -e --nodeps java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64
　　  #rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64

　　          #rpm -e --nodeps java-1.7.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64

第二步：安装java 

1、首先将压缩包：jdk-8u60-linux-x64.tar.gz, hadoop-2.8.1.tar.gz放到/home/csu/resources位置上（传输工具SecureCRT）
2、移动文件：将/home/csu/resources/jdk-8u60-linux-x64.tar.gz文件移动至/opt下，具体命令：
mv /home/csu/resources/jdk-8u60-linux-x64.tar.gz /opt
tar -zxvf jdk-8u60-linux-x64.tar.gz /opt  #解压
3、配置环境，具体命令：
vi /home/csu/.bash_profile
#java
export JAVA_HOME=/opt/jdk1.8.0_60
export PATH=$JAVA_HOME/bin:$PATH

第三步：免秘钥登陆配置

1、master
命令：ssh-keygen -t rsa
进入.ssh命令：cd ~/.ssh
查看命令：ls -l
将公钥文件复制到.ssh目录：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
修改该文件的权限: chmod 600 ~/.ssh/authorized_keys
查看命令：ls -l
将authorized_keys 文件复制到所有的Slave0节点:
scp ~/.ssh/authorized_keys csu@slave0:~/    最后输入“yes”
2、slave0:
命令：ssh-keygen -t rsa
命令：mv authorized_keys ~/.ssh
修改authorized_keys 文件的权限: chmod 600 authorized_keys

3、在master中输入ssh slave0，不需要输入密码就可以进入slave0用户，用exit退出

第四步：Hadoop安装配置

1、复制文件：将压缩包/home/csu/resources/hadoop-2.8.1.tar.gz文件移动至根目录下，具体命令：
cp /home/csu/resources/hadoop-2.8.1.tar.gz ~/
2、解压：tar -zxvf hadoop-2.8.1.tar.gz
3、配置Hadoop环境变量：进入配置变量文件下（cd /home/csu/hadoop-2.8.1/etc/hadoop）
(1)hadoop-env.sh 
export JAVA_HOME=${JAVA一HOME ｝# 改为：
export JAVA_HOME=/opt/jdk1.8.0_60/
(2)yarn-env.sh 
＃export JAVA_HOME=/home/y/libexec/jdkl.6.0／下添加
export JAVA_HOME=/opt/jdk1.8.0_60/
(3)hdfs-site.xml 


dfs.namenode.name.dir
file:///home/csu/hadoop-2.8.1/hadoop-namenode


dfs.datanode.data.dir
file:///home/csu/hadoop-2.8.1/hadoop-datanode


dfs.webhdfs.enabled
true


dfs.permissions.enabled
false


dfs.namenode.handler.count
25


(4)core-site.xml 


fs.default.name
hdfs://master:9000


(5)yarn-site.xml 



yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.log-aggregation-enable
true


yarn.log.server.url
http://master:19888/jobhistory/logs


yarn.web-proxy.address
master:8089


yarn.resourcemanager.hostname
master


yarn.timeline-service.hostname
master


(6)复制 mapred-site.xml.template为 mapred-site.xml，具体命令如下：
cp /home/csu/hadoop-2.8.1/etc/hadoop/mapred-site.xml.template /home/csu/hadoop-2.8.1/etc/hadoop/mapred-site.xml



yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.log-aggregation-enable
true


yarn.log.server.url
http://master:19888/jobhistory/logs


yarn.web-proxy.address
master:8089


yarn.resourcemanager.hostname
master


yarn.timeline-service.hostname
master


(7)slaves
master
slave0
(8)配置：vi ~/.bash_profile
#java
export JAVA_HOME=/opt/jdk1.8.0_60
export PATH=$JAVA_HOME/bin:$PATH
#HADOOP
export HADOOP_HOME=/home/csu/hadoop-2.8.1
export HADOOP_PREFIX=$HADOOP_HOME
export HADOOP_YARN_HOME=${HADOOP_PREFIX}
export HADOOP_CONF_DIR=${HADOOP_PREFIX}/etc/hadoop
export YARN_LOG_DIR=${HADOOP_YARN_HOME}/logs
export YARN_IDENT_STRING=csu
export HADOOP_MAPRED_IDENT_STRING=csu
export PATH=${HADOOP_PREFIX}/bin:${PATH}
export PATH=${HADOOP_PREFIX}/sbin:${PATH}
source ~/.bash_profile  #配置生效

4、复制Master 上的Hadoop到Slave0节点，具体命令：
scp -r /home/csu/hadoop-2.8.1 csu@slave0:~/

5、在master、slave0建立文件（创建hadoop目录）：mkdir /home/csu/hadoop-2.8.1/hadoop-namenode
mkdir /home/csu/hadoop-2.8.1/hadoop-datanode
 
至此，我们就完成了Hadoop 集群的安装与配置

第五步：Hadoop集群的启动
1、格式化文件系统，命令：hdfs namenode -format (注意只在master下进行，出现successifyly即可)
2、启动和关闭hadoop，命令：cd /home/csu/hadoop-2.8.1/sbin
start-all.sh
jps（查看是否安装成功）：
master:Secondary NameNode、ResourceManager、Jps、NameNode 
slave0:NodeManager、Jps、DataNode
3、下次启动时只需要启动start-dfs.sh，start-yarn.sh