hadoop 知识点回顾

Hadoop 2.x 生态系统组成


hadoop 知识点回顾_第1张图片


hadoop 组成


namenode 

元数据服务器,属于管理层,用于管理数据的存储,主节点,存储文件的元数据,如文件名,文件目录结构,文件属性,生成时间,副本数,文件权限)及每个文件的块列表及块所在datanode等。



secondary namenode 辅助元数据服务器


jobtracker 

任务调度员,管理层程序,管理集群资源并对任务进行资源调度,监控任务执行,负责用户提交的作业,负责启动,跟踪任务的执行。


datanodes 

块存储   属于应用层,用户数据存储在datanodes ,被namenode 管理,定时向namenode汇报工作情况,执行namenode 分配分发的任务,存储文件块数据及块数据的校验和。


tasktrackers 

任务执行,应用层程序,执行jobtracker分发的任务,并想jobtracker 汇报工作情况,管理各个任务在每个节点的执行情况。


mapreduce 分布式离线计算框架


yarn  集群资源管理系统


hdfs 分布式文件系统



hadoop 知识点回顾_第2张图片




hadoop  部署模式


单机模式 standalone


伪分布式模式 pseudo-distriubuted

一台机器上运行所有的hadoop 服务(五个守护进程)


全分布式模式 fully distributed

你可能感兴趣的:(hadoop)