Hadoop生态圈介绍

Hadoop生态圈介绍_第1张图片

hadoop生态:
1、hadoop的核心组件:
(hdfs)分布式存储、(mapReduce)分布式计算、(Yarn)资源调度与任务管理、Common
2、Lucene:索引检索工具包
3、Nutch:开源的搜索引擎
4、HBase/Cassandra:基于google的BigTable开源的列式存储的非关系型数据库
5、Hive:基于SQL的分布式计算引擎,同时是一个数据仓库
6、Thrift/Avro:Rpc框架,用户网络通讯
7、BigTop:项目测试、打包、部署
8、Oozie(乌贼)/Azakban:大数据的工作流框架
9、Chukwa/Scribe/Flume:数据收集框架
10、Whirr:部署为云服务的类库
11、sqoop:数据迁移的工具
12、Zookper:分布式协调框架
13、HAMA:图计算框架
14、solr:索引服务器
15、Pig:基于Pig Latin脚本的计算引擎
16、Mahout:机器学习框架 

你可能感兴趣的:(【hadoop】,hadoop,hdfs,big,data)