集群搭建
说明：基于centos 64位
1.同步时间
手动同步：
yum install ntpdate
网络同步时间：
ntpdate cn.pool.ntp.org
设置时区：
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
2.设置主机名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node-1
3.配置IP、主机名映射
vim /etc/hosts
192.168.17.139 node-1
192.168.17.140 node-2
192.168.17.130 node-3
4.配置SSH免密登录
（1）对本机设置免密登录：
ssh node-1
选择yes
（2）生成ssh免密登录密钥：
ssh-keygen -t rsa
执行完命令会生成id_rsa私钥和id_rsa.pub公钥
（3）把公钥拷贝到要免密登录的目标机器上：
ssh-copy-id node-1
…
5.配置防火墙
（1）查看防火墙状态：
service iptables status
（2）关闭防火墙：
service iptables stop
（3）查看防火墙开机启动状态：
chkconfig iptables --list
（4）关闭防火墙开机启动：
chkconfig iptables off
6.JDK安装
（1）下载jdk安装包：
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
（2）解压安装包：
tar -zxvf jdk-8u171-linux-x64.tar.gz -C /root/apps
（3）配置环境变量：/etc/profile
export JAVA_HOME=/root/apps/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
（4）刷新配置：
source /etc/profile
7.Hadoop配置
下载安装
官方网址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.6/
Linux下：
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz
（如果没有wget，则下载：yum install -y wget）
解压文件：
tar -zxvf hadoop-2.7.6.tar.gz
配置
（1）打开文件夹下etc/hadoop/hadoop-env.sh：
vi etc/hadoop/hadoop-env.sh
修改内容：
export JAVA_HOME=/root/apps/jdk1.8.0_171
（2）打开core-site.xml（还是前面的目录），在
fs.defaultFS
hdfs://node-1:9000
tfs://
file://
gfs://
hadoop.tmp.dir
/home/hadoop/hadoop-2.7.6/tmp
（3）打开hdfs-site.xml，在
dfs.replication
2
dfs.namenode.secondary.http-address
node-2:50090
（4）在当前目录复制mapred-site.xml.template为mapred-site.xml：
mv mapred-site.xml.template mapred-site.xml
打开mapred-site.xml，在
mapreduce.framework.name
yarn
（5）打开yarn-site.xml，在
yarn.resourcemanager.hostname
node-1
yarn.nodemanager.aux-services
mapreduce_shuffle
（6）打开slaves，修改文件内容为：
node-1
node-2
node-3
（7）打开/etc/profile，配置hadoop环境变量：
export HADOOP_HOME=/root/apps/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/sbin
export PATH=$PATH:$HADOOP_HOME/bin
（8）将前面配置的通过scp命令拷到另外两个节点当中：
scp -r /root/apps/hadoop-2.7.6/ root@node-2:/root/apps/
scp -r /etc/profile root@node-2:/etc
（9）各主机更新环境变量：
source /etc/profile
说明
- 在Hadoop的配置文件中，有
xxx-default.xml文件，这些文件里面配置了Hadoop默认的配置选项，如果用户没有更改，那么这里面的选项将生效 - 同样，里面还有很多
xxx-site.xml文件，这些里面配置了用户需要自定义配置的选项，这些文件优先级比default的要高
8.启动Hadoop
启动Hadoop集群则需要启动HDFS和YARN两个集群，且要注意第一次启动HDFS时要对其进行格式化操作：（格式化不是传统的格式化，而是对文件系统进行初始化操作，只在主节点所在的机器操作，且只能进行一次）
hdfs namenode -format
此时就会在前面设置的/home/hadoop/hadoop-2.7.6/tmp目录下创建一个叫name的目录，内容全部存在这里
单节点逐个启动
（1）主节点启动HDFS：
hadoop-daemon.sh start namenode
（2）从节点启动HDFS：
hadoop-daemon.sh start datenode
（3）主节点启动YARN：
yarn-daemon.sh start resourcemanager
（4）从节点启动YARN：
yarn-daemon.sh start nodemanager
要停止直接比对应的start改成stop即可
脚本一键启动
如果配置了slaves和ssh免密登录，则可以通过脚本启动所有Hadoop两个集群相关的所有进程，只需在主节点的Hadoop文件夹下的sbin文件夹中执行对应文件：
全启动：start-all.sh
hdfs启动：start-dfs.sh
yarn启动：start-yarn.sh
停止有对应的stop文件，如stop-all.sh
9.基本使用
NameNode
即HDFS，在浏览器中输入：node-1:50070
即可进入portal界面
浏览文件系统
portal中查看：点击portal上面的utilities-browse the file system
命令行中：hdfs dfs -ls /
操作文件系统
创建文件夹：hdfs dfs -mkdir /文件夹名
上传文件：hdfs dfs -put /文件 /上传到哪个目录
举例：
[root@node-1 ~]# hdfs dfs -mkdir /aaa
[root@node-1 ~]# hdfs dfs -put hello.c /aaa
ResourceManager
即YARN，在浏览器输入：node-1:8088
即可进入portal界面
Mapreduce
运行测试
首先进入sbin目录下启动historyserver：
mr-jobhistory-daemon.sh start historyserver
到/root/apps/hadoop-2.7.6/share/hadoop/mapreduce目录下有：hadoop-mapreduce-examples-2.7.6.jar程序给予测试，对于jar的提交方式如下：
hadoop jar jar包名 参数
对于上面的范例程序是用于计算圆周率的，所以输入如下进行测试：
hadoop jar hadoop-mapreduce-examples-2.7.6.jar pi 20 50
此时进入YARN的portal可以看到建立的任务
10.命令使用
Hadoop有提供专门的shell指令来使用，格式一般为：hadoop fs 参数，举例：
[root@node-1 ~]# hadoop fs -ls hdfs://node-1:9000/
此时就能看到HDFS根目录的内容了，由于默认是hdfs://，所以上面的也可以替换成：
[root@node-1 ~]# hadoop fs -ls /
而对于比如要查看主节点机器的目录时，就需要修改hdfs为file了，举例：
[root@node-1 ~]# hadoop fs -ls [file:///root/apps](file:///\\root\apps)
注：
前面有：hdfs dfs 参数，这样的命令，功能和这个类似，但是使用范围有限，仅限于hdfs当中
常用命令
基本和命令linux差不多，主要区别就是命令名变成了参数，即前面加个-，然后后面要选择HDFS目录
参见：https://www.cnblogs.com/cl1234/p/3566923.html