Hadoop集群搭建——环境配置
一、集群搭建注意问题说明
1、此处集群环境搭建我使用了三台主机进行模拟，分别为：
hadoop-series.bxp.com
hadoop-series1.bxp.com
hadoop-series2.bxp.com2、集群搭建前需要注意的问题：
（1）集群中的节点的用户名登陆名和密码应当保持一致。
（2）hadoop和jdk的安装目录应当保持一致。
以上保持一致不是必须的，只是为了防止环境搭建过程中的不必要的麻烦。
二、主机节点配置
1、修改主机名：
（1）临时修改
hostname hadoop-series.bxp.com此方法可以直接生效，但是电脑重启后将会失效。电脑重启将会读取配置文件。
（2）修改配置文件/etc/hostname，填写你的主机名
hadoop-series.bxp.com使用以上的方法分别将三台的主机的主机名修改为:
hadoop-series.bxp.com
hadoop-series1.bxp.com
hadoop-series2.bxp.com2、修改/etc/hosts文件，配置主机名到IP地址的映射。
192.168.1.103 hadoop-series.bxp.com hadoop-series
192.168.1.133 hadoop-series1.bxp.com hadoop-series1
192.168.1.135 hadoop-series2.bxp.com hadoop-series2三、集群搭建
1、分析集群分布
为了提高集群的高可用性，把NameNode，ResourceManager，SecondaryNamenode分别方式在不同的机器上，最终分布如下：
| 条目 | 主机1 | 主机2 | 主机3 |
|---|---|---|---|
| HDFS | NameNode, DataNode | DataNode | DataNode, SecondaryNameNode |
| YARN | NodeManager | ResourceManager, NodeManager | NodeManager |
| MapReduce | JobHistoryServer |
2、根据上述节点非配结果进行配置节点分布，配置各个文件：
（1）hdfs相关配置
hadoop-env.sh（配置hdfs运行环境）：
JAVA_HOME=/home/bxp/Documents/install/jdk1.8.0_131core-site.xml（配置namenode所在主机）：
<configuration>
<property>
<name>fs.defaultFSname>
<value>hdfs://hadoop-series.bxp.com:8020value>
property>
<property>
<name>hadoop.tmp.dirname>
<value>/home/bxp/Documents/install/hadoop-2.6.5/data/tmpvalue>
property>
<property>
<name>fs.trash.intervalname>
<value>420value>
property>
configuration>hdfs-site.xml（配置secondNameNode所在主机）：
<configuration>
<property>
<name>dfs.namenode.secondary.http-addressname>
<value>hadoop-series2.bxp.com:50070value>
property>
configuration>slaves（配置dataNode所在主机）：
hadoop-series.bxp.com
hadoop-series1.bxp.com
hadoop-series2.bxp.com（2）YARN相关配置
yarn-env.sh（配置yarn运行环境）：
JAVA_HOME=/home/bxp/Documents/install/jdk1.8.0_131yarn-site.xml（配置resouceManager所在主机）：
<configuration>
<property>
<name>yarn.nodemanager.aux-servicesname>
<value>mapreduce_shufflevalue>
property>
<property>
<name>yarn.resourcemanager.hostnamename>
<value>hadoop-series1.bxp.comvalue>
property>
<property>
<name>yarn.log-aggregation-enablename>
<value>truevalue>
property>
<property>
<name>yarn.log-aggregation.retain-secondsname>
<value>604800value>
property>
configuration>slaves（配置NodeManager）：
hadoop-series.bxp.com
hadoop-series1.bxp.com
hadoop-series2.bxp.com（3） MapReduce相关配置
mapred-env.sh（配置mapreduce运行环境）：
JAVA_HOME=/home/bxp/Documents/install/jdk1.8.0_131mapred-site.xml（配置JobHistoryServer所在主机）：
<configuration>
<property>
<name>mapreduce.framework.namename>
<value>yarnvalue>
property>
<property>
<name>mapreduce.jobhistory.addressname>
<value>hadoop-series1.bxp.com:10020value>
property>
<property> <name>mapreduce.jobhistory.webapp.addressname>
<value>hadoop-series1.bxp.com:19888value>
property>
configuration>四、配置节点间的无密钥登陆
配置namenode节点和ResourceManager节点到其他节点的无密钥登陆。
此处配置无密钥登陆可以查看这里——>SSH无密钥登陆 与 配置公钥后仍需要输入密码的解决方案
五、分发已经配置好的hadoop安装包到其他各个节点
scp -r /home/bxp/hadoop hadoop-series1.bxp.com:/home/bxp
scp -r /home/bxp/hadoop hadoop-series2.bxp.com:/home/bxp到这里集群搭建集群搭建的配置已经完毕了，如果想进行一些操作去测试集群的搭建是否成功，可以查看Hadoop启动模式，基本配置，启动方式。