大数据技术栈,主要有哪些

往大数据方向发展需要学哪些技术?网上一搜真是指不胜屈。对于小白来说,实在是一头雾水,到底哪些是当下流行的?哪些是必须要先学会的?流行?主次搞不清。为了解决这些疑惑,羚羊专门花了些时间,  挨个技术去研究对比归类,大概总结出以下的技术点:

文件存储: Hadoop HDFS、GFS、KFS、Tachyon
离线计算: Hadoop MapReduce、Spark
流式、实时计算:flink、Storm、JStorm、Spark Structured Streaming、Heron、Spark Streaming
存储格式:kudu、ORC、Apache Parquet、CarbonData
数据库: HBase、Redis、MongoDB、Couchbase、LevelDB、Apache Cassandra、Ignite、TiDB
资源管理: YARN、Mesos
日志收集: Flume、Scribe、Logstash、FileBeat
消息系统: Kafka、StormMQ、ZeroMQ、RabbitMQ、Confluent Platform
在线、离线查询搜索分析: Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Kylin、Druid、ClickHouse、Elasticsearch
数据可视化查询分析工具:Apache Zeppelin、Kibana
分布式协调服务:Zookeeper
集群管理与监控:Ambari、Ganglia、Nagios、Cloudera Manager
数据同步: Sqoop、DataX、Cannal、Maxwell、Debezium、DataBus
任务调度: Azkaban、Oozie
数据安全:Apache Eagle
机器学习、数据挖掘:Spark MLLib、Mahout

 下图是羚羊根据当下流行的大数据技术点,结合之前的项目经验,基于HDFS文件系统搭建了一个基本的、通用的完整大数据平台技术架构。一切的技术都是来源于不同的需求场景,所以根据不同的产品需求搭建出来的技术架构也会有差异。

大数据技术栈,主要有哪些_第1张图片

【版权声明】

本文版权归作者(深圳伊人网网络有限公司)和博客园共有,欢迎转载,但未经作者同意必须在文章页面给出原文链接,否则保留追究法律责任的权利。如您有任何商业合作或者授权方面的协商,请给我留言:[email protected]

你可能感兴趣的:(大数据技术栈,主要有哪些)