hadoop中各组件的作用

Hadoop=HDFS+Yarn+MapReduce+Hbase+Hive+Pig+…

 

1.HDFS:分布式文件系统,隐藏集群细节,可以看做一块儿超大硬盘

         主:namenode,secondarynamenode

         从:datanode

 

2.Yarn:分布式资源管理系统,用于同一管理集群中的资源(内存等)

         主:ResourceManager

         从:NodeManager

 

3.MapReduce:Hadoop的编程框架,用map和reduce方式实现分布式程序设计,类似于Spring。

 

4.Pig:基于hadoop的一门数据处理语言,类似于python等编程语言

 

5.Zookeeper:分布式协调服务,用于维护集群配置的一致性、任务提交的事物性、集群中服务的地址管理、集群管理等

         主:QuorumPeerMain

         从:QuorumPeerMain

 

6.Hbase:Hadoop下的分布式数据库,类似于NoSQL

         主:HRegionserver,HMaster,HPeerMain(在使用zookeeper作为协调时没有此进程)


7.Hive:分布式数据仓库,让开发人员可以像使用SQL一样使用MR。


8.Scoop:用于将传统数据库中数据导入到hbase中一个导入工具


9.Spark:基于内存的分布式处理框架

         主:Mater

         从:worker

你可能感兴趣的:(hadoop学习)