hadoop之hdfs和yarn

一.简介

- 什么是hdfs？
hdfs是一种分布式系统，其组成是namenode节点和datanode节点。顾名思义，namenode是“名字节点”，存储的是这部分存储区域的相关信息，并管理datanode节点；而datanode存储的就是数据。一个namenode对应一个或多个datanode节点，每一个datanode运行在一台机器上，所以这些datanode组合到一起将形成一个集群（cluster），实现真正的分布式存储文件。需要注意的是namenode和datanode可能运行在同一台机器上。
除此之外，hdfs特别的地方是，加强了存储文件的安全性和完整性。namenode存在副本节点（standby node），当主节点出现问题，比如所运行的机器出现宕机，将由standby节点来取代并获得datanode的管理权限；而且每一段数据将备份在几个不同的datanode上面（根据集群的datanode数量来决定备份个数）。因此，对应的将会有一个存储映射表，来记录每一段数据分别存储在哪些节点中，便于namenode进行管理和查询。

- 什么是yarn
yarn是一个资源管理工具，用来分配资源。它的命名也是极为有趣，YARN（Yet Another Resource Negotiator，另一种资源协调者）。
它包含几个部分 ，ResourceManager，NodeManager，ApplicationMaster以及Container组成，基本思想是将JobTracker中的资源管理和作业调度进行分离，分别交给ResourceManager，ApplicationMaster进行管理，ApplicationMaster 承担了以前的 TaskTracker 的一些角色，ResourceManager 承担了 JobTracker 的角色。

二.启动方法

以下默认已经成功安装并配置完成hadoop，如未安装配可参考如下网址：http://www.imooc.com/learn/391
- namenode的启动方法
这里将namenode和datanode的启动从dfs的启动分离出来，为了降低错误成本，全局启动hdfs的话可能会出现问题。
注意：第一次启动hdfs，需要进行格式化，命令可以找度娘，下面介绍正常的开启命令。（以下所有命令均在/sbin目录下进行）
启动namenode

hadoop-daemon.sh start namenode

验证是否启动，可以通过java的进程命令jps来检测，如果检测到namenode进程则说明启动成功，否则，需要重新输入命令。下同。
启动datanode

hadoop-daemon.sh start datanode

启动yarn
由于yarn的结构特性，此处推荐将yarn的所有功能一起启动。
启动方式如下：

start-yarn.sh

同样通过jps命令进行检测，能够检测到ResourceManager和NodeManager进程。

三.查看启动信息

如果通过以上步骤能够成功启动hdfs和yarn，那么就可以到网页中查看存储文件的信息和资源管理的信息。查看的方法如下：

1. 查看yarn

管理yarn的端口为50700，即可以在网址部分输入

yarn001:50700

注意，交换地址名称与hadoop的配置文件中所配置的保持一致，我的交换地址名称为yarn001。下同。

1. 查看hdfs
   管理hdfs系统的段口号为8088，即可以在网址部分输入

yarn001:8088

以上仅代表本人学习心得体会，如有不恰当，欢迎进行指正完善。