大数据发行版本+组件中的竞品/等同地位关系(持续更新中)

 

 

开源大数据版本	公司/开源组织	是否付费	备注
Apache Hadoop	Apache	否	大数据组件的最初发型版
CDH	Cloudera’s Distribution Including Apache Hadoop	是	和HDP合并
FusionInsight	华为	是	无
HDP	Hortonworks Data Platform	否	和CDH合并
MapR	Cloudera MapR	是	被Hewlett Packard EnterPrise收购
hadoop容错系统	Zettaset	是
Intel IT’s Secure Hadoop Platform	Intel	是	英特尔放弃发行 Hadoop 版本,转而支持 Cloudera

上述红色的表示商用，紫色的表示开源

 

 

一些大数据组件在一定程度上是可以互相取代的，这里进行一些整理。

常见大数据组件	竞品/等同地位	用途
HDFS	FastDFS(已经淘汰)	分布式文件系统
MapReduce	Spark	集群计算
Hive	Cloudera Impala/Apache Kylin	静态分析(OLAP)
Flink	Streaming/Storm	实时计算
Yarn(管理spark任务)	zookeeper(管理集群节点数据一致性)	集群管理器，但是各自管理功能不同
Apache Zeppelin(集群数据处理，相当于spark-shell的GUI版本)	Jupyter Notebook(非集群数据处理)	代码逐句调试用+在线可视化
Apache Kylin(Hbase OLAP SQL接口)[1] 适合静态分析出报表	Apache Phoenix(Hbase OLTP SQL接口)[1] 适合接网站业务	都是hbase的SQL接口，但是侧重点不同[1]
ElasticSearch	Solr/Phoenix	为了满足OLTP的复杂SQL查询
Hbase+ElasticSearch/Hbase+Phoneix（强一致性）	Cassandra(最终一致性)	支持对分布式数据库灵活的SQL查询
Ambari	Cloudera Manager
[2]: Apache转发静态页面 Tomcat转发动态页面	Nginx	代理服务器

 

 

注意:

上述软件中,Zeppelin对高版本的spark/hadoop支持较差。

Phoenix对高版本的hbase支持较差。

别浪费时间捣鼓。

 

 

注:上面加粗字体表示在正常中更为常用或在开发上更加快速

Reference:

[1]都是 HBase 上的 SQL 引擎，Kylin 和 Phoenix 有什么不同？

[2]apache代理服务器设置