Haddop入门架构图解

Hadoop项目的四个模块

  1. hadoop common(为其他hadoop模块提供基础设施)
  2. hdfs(一个高可靠,高吞吐量的分布式文件系统)
  3. mapreduce(一个分布式离线的并行计算框架)
  4. yarn(任务调度和资源管理)

HDFS系统架构图

Haddop入门架构图解_第1张图片

服务功能介绍

Namenode:主节点,存储文件的元数据(文件名,目录结构,属性,块列表,块所在的datanode)

Datanode:本地文件系统中存储文件块数据,以及块数据的校验和

Secondarynamenode:监控hdfs状态辅助后台程序,定期获取hdfs元数据的快照

Yarn的架构图

Haddop入门架构图解_第2张图片

Yarn服务功能

Haddop入门架构图解_第3张图片

Mapreduce(离线计算框架)

Haddop入门架构图解_第4张图片

Yarn对mapreduce资源的调度过程

Haddop入门架构图解_第5张图片

你可能感兴趣的:(java,hadoop,架构,hdfs,开发语言,dubbo)