MapReduce与Yarn

MapReduce

Map: 分散
Reduce: 聚合、汇总
MapReduce与Yarn_第1张图片

Yarn

MapReduce是基于Yarn运行的。Yarn在框架中负责资源调度,服务器集群资源的统一管理。
MapReduce与Yarn_第2张图片
ResourceManager:整个集群的资源调度者, 负责协调调度各个程序所需的资源。
NodeManager:单个服务器的资源调度者,负责调度单个服务器上的资源提供给应用程序使用。
Yarn对资源的分配基于容器。

  • 容器(Container)是YARN的NodeManager在所属服务器上分配资源的手段
  • 创建一个资源容器,即由NodeManager占用这部分资源
  • 应用程序运行在NodeManager创建的这个容器内
  • 应用程序无法突破容器的资源限制

Yarn辅助架构

  • 代理服务器(ProxyServer):Web Application Proxy Web应用程序代理
    最大限度保障对YARN的WEB UI的访问是安全的,运行在ResourceManager中
  • 历史服务器(JobHistoryServer): 应用程序历史信息记录服务
    记录历史运行的程序的信息以及产生的日志并提供WEB UI站点供用户使用浏览器查看

你可能感兴趣的:(大数据,mapreduce,服务器,前端)