Hadoop架构

Hadoop1.x

hadoop 1.x :由hdfs(分布式文件存储系统)与MapReduce(分布式计算框架)组成
Hadoop架构_第1张图片
HDFS节点:
1. namenode(主节点)
负责管理整个HDFS集群,维护和管理元数据(用来描述数据的数据, 例如:文件路径,创建时间等).
2. secondarynamenode(辅助节点)
负责辅助namenode管理元数据
3. datanode(从节点)
负责存储具体的数据, 负责数据的读写操作.

MapReduce节点:
1. jobtracker(主节点)
负责分配和管理资源, 负责任务的接收,分配和监控.
2. tasktracker(从节点)
负责具体任务的执行

Hadoop 2.x

hadoop 2.x :由hdfs(分布式文件存储系统)与yarn集群构成,严格来说,此时已经没有MapReduce集群的概念了,它只是一个组件,用来执行具体的任务.
Hadoop架构_第2张图片
HDFS节点:
1. namenode(主节点)
负责管理整个HDFS集群,维护和管理元数据(用来描述数据的数据, 例如:文件路径,创建时间等).
2. secondarynamenode(辅助节点)
负责辅助namenode管理元数据
3. datanode(从节点)
负责存储具体的数据, 负责数据的读写操作.

Yarn节点:
1. resourcemanage(主节点)
负责资源的分配,任务的接收
2. appmaster(进程)
负责任务的分配, 他是运行在nodemanager上的
3. nodemanager(从节点)
负责具体任务的执行

你可能感兴趣的:(hadoop,架构,大数据)