Hadoop为分布式搭建过 
1利用之前安装好的虚拟环境下的linux系统
2关闭防火墙
①查看防火墙状态
[root@standalone ezr]# service iptables status

②关闭防火墙
a重启后生效 开启： chkconfig iptables on 关闭： chkconfig iptables off b即时生效，重启后失效 开启： service iptables start 关闭： service iptables stop
 
3关闭SELinux
 
4安装linux版的jdk
注意安装前要卸载掉centos自己带的jdk我们不用，因为我们要使用自己的jdk
[root@standalone ~]# rpm -qa |grep java ----- 查看centos自带的jdk包
[root@standalone ~]# rpm -e --nodeps 上面查出来的包 — 删除包命令
①把jdk-8u121-linux-x64.tar上传到software。
②解压jdk-8u121-linux-x64.tar到modules目录下
[root@standalone software]# tar -xvf jdk-8u121-linux-x64.tar.gz -C /opt/modules/
③配置linux中jdk的环境变量
在/etc/profile文件中添加jdk的目录 
##JAVA_HOMR
JAVA_HOME=/opt/modules/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin 

5 把上面创建的softwate和modules目录 设置拥有者和所属组
[root@standalone opt]# chown -R ezr:ezr modules
[root@standalone opt]# chown -R ezr:ezr software
到此环境准备彻底完成了。
开始搭建hadoop的伪分布式系统，注意此时切换到了普通用户ezr下进行操作 
6安装hadoop（解压即安装）
①上传hadoop-2.6.0-cdh5.8.0.tar.gz到software目录下
②解压hadoop-2.6.0-cdh5.8.0.tar.gz到modules目录下
[ezr@standalone software]$ tar -xvf hadoop-2.6.0-cdh5.8.0.tar.gz -C /opt/modules/
7 搭建HDFS文件系统
①修改hadoop-env.sh文件 配置环境变量
Export JAVA_HOME=/opt/modules/jdk1.8.0_121

② 修改core-site.xml 配置文件
##配置hdfs默认启动主机地址，端口号是8020

fs.defaultFS
hdfs://standalone.ezr.com:8020

③ 修改hdfs-site.xml 配置文件
##配置hdfs安全策略址副本个数，因为是为分布式，就一台机器，
##所以副本数这里设置为1

dfs.replication
1

④设置文件存放目录，如果不设置的话hdfs会有个临时存放目录tmp下次启动的时候可能会出问题，所以我给他制定一个特定的目录。
[ezr@standalone hadoop-2.6.0-cdh5.8.0]$ mkdir data
在core-site.xml添加属性，表示hadoop文件存储数据的目录 
 
hadoop.tmp.dir 
/opt/modules/hadoop-2.6.0-cdh5.8.0/data 
 
⑤格式化文件系统


⑦启动namenode
 
⑧启动datanode
 
⑨查看启动进程

如上图说明namenode和datanode启动成功了
⑩测试伪分布式是下的HDFS文件系统是否配置并启动成功
通过hdfs的web监控界面测试hdfs
http://standalone.ezr.com:50070/


上传一任意文件看看是否成功
 

到此表示hdfs文件系统配置完成
8 搭建 hadoop-2.6.0-cdh5.8.0YARN平台
①mapred-env.sh文件中设置 JAVA_HOME
export JAVA_HOME=/opt/modules/jdk1.8.0_121
②yarn-env.sh文件中设置JAVA_HOME 
③修改文件名mapred-site.xml.template成 mapred-site.xml
④在mapred-site.xml文件中添加以下属性。配置mapreduce运行在yarn平台上

mapreduce.framework.name
yarn

⑤在yarn-site.xml文件中添加以下属性，配置mapreduce中间需要经过shuffle过程

yarn.nodemanager.aux-services
mapreduce_shuffle

⑥启动YARN

测试yarn平台，在上面跑一个hadoop自带的例子wordcount
[ezr@standalone hadoop-2.6.0-cdh5.8.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.8.0.jar wordcount /HDFStest.txt /wc

测试成功
9 配置免秘钥登录

  1. 配置日志聚合


Hadoop搭建完成