【大数据架构】-- 开源框架技术汇总

1.系统平台

Hadoop、CDH、HDP、BigTop

2.监控管理

CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle

3.文件系统

HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio

4.资源管理

YARN、Mesos、K8s

5.协调框架

ZooKeeper 、Etcd、Consul

6.数据存储

HBase、Cassandra、ScyllaDB 、MongoDB、Accumulo 、Redis 、Ignite、Arrow 、Geode、CouchDB、Kudu、CarbonData

7.数据处理

MapReduce、Spark、Flink、Storm、Tez、Samza、Apex、Beam、Heron

8.查询分析

Hive、SparkSQL、Presto、Kylin、Impala、Druid、ElasticSearch、HAWQ、Lucene、Solr、 Phoenix

9.数据收集

Flume、Filebeat、Logstash、Chukwa、Fluentd

10、数据交换

Sqoop 、Kettle、DataX 、NiFi、Vector

11.消息系统

Pulsar、Kafka、RocketMQ、ActiveMQ、RabbitMQ

12.任务调度

Azkaban、Oozie、Airflow、DolphinScheduler

13.数据治理

Ranger 、Sentry、Atlas

14.可视化

Kibana 、D3.js、ECharts、Redash、Hue

15.数据挖掘

Mahout 、MADlib 、Spark ML、TensorFlow、Keras

16.云平台

国际：Amazon S3、GCP、Microsoft Azure

国内：阿里云、腾讯云