hadoop2简介

 

 

1 简介：

 

 

 

 

 


 

 

 

 

 

 

1)为何产生hadoop2, yarn平台内部成员关系介绍

回答：
a) 在hadoop1中，jobtracker的职责主要是资源(slot)管理、应用管理。
  仅仅作为出入证的作用，并不在意进入的资源是大房间(4核 16G内存 CPU主频一般)还是小房间(8核 128G内存 CPU主频更高)，是一种比较粗的资源划分
 
b)资源管理： 类比于静态管理，搭建好后，就一直存在着
  应用管理： 类比于动态管理，有起始时间
  这两者管理不是同一层面的东西，不符合Java中职责单一原则
 
c) hadoop1中MapReduce框架依赖磁盘io进行计算的大数据计算的解决方案。优点是可以处理海量数据，缺点是处理速度慢。
   而在现实需求中，有离线批处理的的，有实时的，有迭代式调用的，真实需求较多，hadoop1架构太局限。

d) 基于以上几点，把hadoop1的mapreduce架构拆分出来, 
    资源管理：ResourceManager
 应用管理：跟着应用而生，应用在他在，应用结束他结束，应用可以是多种类型 eg:离线的mapreduce 实时的strom等
 资源管理和应用管理的逻辑总和就是 yarn平台
 
 类比记忆：
 yarn平台： 国家税务局--->公司要来我局里申请挂牌，同时接受我局管理，我局会派工作人员(ApplicationMaster)管理公司(maprecue应用 storm应用等)
 各种应用： 各种类型的公司--->mapreduce storm等
 ResourceManager: 国家税务局领导，负责协调来注册的公司使用我国资源的

 

 

 

 hadoop各种版本文档地址：

http://hadoop.apache.org/docs/

 

 hadoop2 yarn 介绍：

 

a）yarn如何管理节点资源的呢？？
b）应用如何提交到yarn上 然后yarn上运行并将结果返回给应用的？

 

 答案见下图：

 

 

 

 

hdfs和map任务关系：

 

 

hadoop2生态圈分子：