Yarn
- Hadoop Common: The common utilities that support the other Hadoop modules.
- Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to application data.
- Hadoop YARN: A framework for job scheduling and cluster resource management.
- Hadoop MapReduce: A YARN-based system for parallel processing of large data sets.
1. MapReduce的基本原理及劣势
MapReduce是一个软件框架，可方便地编写应用程序，以并行的方式在数千商用硬件组成的集群节点中处理数TB级的数据，并且提供了可靠性和容错能力。
MapReduce处理模型包括两个独立的步骤：
1) 第一步：并行Map阶段，输入数据被分割成离散块以便可以单独处理
2) 第二步：Reduce阶段，汇总Map阶段的输出 生成预期的结果
其主要缺点：
1） 可扩展性：
- JobTracker内存中保存用户作业的信息
- JobTracker使用的是粗粒度的锁
2）可靠性和可用性
- JobTracker失效会丢失集群中所有的运行作业，用户需手动重新提交和恢复工作流
3）对不同编程模型的支持
- HadoopV1以MapReduce为中心的设计虽然能支持广泛的应用，但是并不适合所有大型计算
2. YARN的使命
YARN: Yet Another Resource Negotiator
YARN的基本思想：
将JobTracker的两个主要功能分离成两个单独的组件：一个全局的ResourceManager和每个应用对应的ApplicationMaster。
2.1 YARN的优点
1) 可扩展性
2) 可维护性
3) 多租户
4) 位置感知
5) 高集群使用率
6) 安全和可审计的操作
7) 可靠性和可用性
8) 对编程模型多样性的支持
9) 灵活的资源模型
10) 向后兼容
2.2 组件功能
1）ResourceManager
- 一个纯粹的调度器
- 根据应用程序的资源请求，严格限制系统的可用资源
- 在保证容量、公平性及服务等级的情况下，优化集群资源利用率，让所有资源都得到充分利用
- 有可插拔的调度器来应用不同的调度算法，如注重容量调度还是公平调度
2）ApplicationMaster
- 负责与ResourceManager协商资源，并和NodeManager协同工作来执行和监控Container以及它们的资源消耗
- 有责任与ResourceManager协商并获取合适的资源Container，跟踪它们的状态，以及监控其进展
- 在真实环境中，每一个应用都有自己的ApplicationMaster实例，但是也可为一组应用提供一个ApplicationMaster，比如Pig或者Hive的ApplicationMaster
3）资源模型
- YARN提供了通用的应用资源模型
- 一个应用可以通过ApplicationMaster请求非常上体的资源
-- 资源名称(包括主机名、机架名以及复杂的网络拓扑)
-- 内存量
-- CPU
-- 其他资源：磁盘和网络IO等
4）ResourceRequest和Container
- 一个应用程序通过ApplicationMaster请求特定的ResourceRequest来满足资源需求
- Schedule会分配一个Container来响应资源请求
- Container是一种资源分配形式，为应用程序授予在特定主机上使用资源(如内存、CPU)的权利
- ApplicationMaster取走Container，并且交给NodeManager，NodeManager会利用相应的资源来启动Container的任务进程