server-7 | server-8 | server-9 | |
---|---|---|---|
HDFS | DataNode, NameNode |
DataNode | DataNode, SecondaryNameNode |
YARN | NodeManager | NodeManager, Resourcemanager |
NodeManager |
进入 Hadoop 目录:
# cd /alidata/server/hadoop/hadoop-2.10.0
编辑 core-site.xml 文件:
# vim hadoop-2.10.0/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFSname>
<value>hdfs://server-7:9000value>
property>
<property>
<name>hadoop.tmp.dirname>
<value>/alidata/server/hadoop/hadoop-2.10.0/data/tmpvalue>
property>
configuration>
首先查看 JAVA_HOME 环境变量:
# echo $JAVA_HOME
/alidata/server/java/jdk1.8.0_65
编辑 hadoop-env.sh 文件:
# vim etc/hadoop/hadoop-env.sh
# 大约在 25 行.
export JAVA_HOME=${JAVA_HOME} #改为
export JAVA_HOME=/alidata/server/java/jdk1.8.0_65
编辑 hdfs-site.xml 文件:
# vim hadoop-2.10.0/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replicationname>
<value>3value>
property>
<property>
<name>dfs.namenode.secondary.http-addressname>
<value>server-9:50090value>
property>
configuration>
编辑 yarn-env.xml 文件:
# vim hadoop-2.10.0/etc/hadoop/yarn-env.sh
编辑 yarn-env.xml 文件:
# vim hadoop-2.10.0/etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-servicesname>
<name>mapreduce_shufflename>
property>
<property>
<name>yarn.resourcemanager.hostnamename>
<name>server-8name>
property>
configuration>
复制 mapred-site.xml 文件
# cp hadoop-2.10.0/etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
编辑 mapred-site.xml 文件
# vim hadoop-2.10.0/etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.namename>
<name>yarnname>
property>
configuration>
第一次启动. 可以格式化, 它会帮你检查配置和创建数据文件:
# sh hadoop-2.10.0/bin/hdfs namenode -format
# sh hadoop-2.10.0/sbin/hadoop-daemon.sh start namenode
根据集群配置: Server-7 需启动
查看是否成功启动:
# jps
# sh hadoop-2.10.0/sbin/hadoop-daemon.sh start datanode
根据集群配置: Server-7, Server-8, Server-9 需启动
查看是否成功启动:
# jps
# sh hadoop-2.10.0/sbin/hadoop-daemon.sh start secondarynamenode
查看是否成功启动:
# jps
编辑 slaves 文件
# vim hadoop-2.10.0/etc/hadoop/slaves
server-7
server-8
server-9
根据集群配置, 需修改 Server-7, Server-8, Server-9 的配置, 配置内容相同
群体启动
进入sever-7
# sh hadoop-2.10.0/sbin/start-dfs.sh
进入server-8
# sh hadoop-2.10.0/sbin/start-yarn.sh
#管理平台地址
http://localhost:50070/