hadoop 知识点回顾

Hadoop 2.x 生态系统组成

hadoop 组成

namenode 

元数据服务器，属于管理层，用于管理数据的存储，主节点，存储文件的元数据，如文件名，文件目录结构，文件属性，生成时间，副本数，文件权限）及每个文件的块列表及块所在datanode等。

secondary namenode 辅助元数据服务器

jobtracker 

任务调度员，管理层程序，管理集群资源并对任务进行资源调度，监控任务执行，负责用户提交的作业，负责启动，跟踪任务的执行。

datanodes 

块存储   属于应用层，用户数据存储在datanodes ,被namenode 管理，定时向namenode汇报工作情况，执行namenode 分配分发的任务，存储文件块数据及块数据的校验和。

tasktrackers 

任务执行，应用层程序，执行jobtracker分发的任务，并想jobtracker 汇报工作情况，管理各个任务在每个节点的执行情况。

mapreduce 分布式离线计算框架

yarn  集群资源管理系统

hdfs 分布式文件系统

hadoop  部署模式

单机模式 standalone

伪分布式模式 pseudo-distriubuted

一台机器上运行所有的hadoop 服务（五个守护进程）

全分布式模式 fully distributed