hadoop单节点的hdfs部署二 及 yarn部署

hdfs部署 （二）

vi core-site.html

在core-site.html文件中进行如下配置：

fs.defaultFS集群中NameNode结点的URI(包括协议、主机名称、端口号)

vi slaves

在slaves文件中写入所有datanode的域名

vi hdfs-site.xml配置snn的端口

在hdfs-site.xml中加入如下配置。

	dfs.namenode.secondary.http-address
	hadoop-01:50090


	dfs.namenode.secondary.https-address
	hadoop-01:50091

重构信任关系

因为原先是用localhost启动，这里改为hadoop-01，所以需要配置ssh。

完成，启动

yarn资源调度平台的部署

MapReduce: 执行计算任务 是jar包提交的Yarn上 本身不需要部署
Yarn: 资源和作业调度 是需要部署的

vi mapred-site.xml

vi yarn-site.xml

start

ResourceManager：yarn集群的主节点，主要用于接收客户端提交的任务，并对任务进行分配。
NodeManager：yarn集群的从节点，主要用于任务的计算

hadoop 里的日志文件

hadoop-hadoop-datanode-hadoop002.log
hadoop-用户-进程名称-机器名称