大数据入门最全组件思维导图

写在前面的话

标题党一回,加了“最全”二字。敲出此二字时,脸上有点热乎乎地。突然想起了马老师的视频,人活着就是要脸皮厚,不要这也不好意思,那也不好意思。你怎么好意思活着呢?

概述

近期计划整理一系列文章作为内部培训的讲稿,主要分享如何从0到1一步一步完成企业级大数据平台搭建,初步梳理提纲如下:

  • 大数据平台组件思维导图
  • 大数据平台框架及架构
  • 大数据平台组件选型方法及思路
  • 大数据平台规模评估及硬件配置
  • 大数据平台部署及实施
  • 大数据平台存储及HDFS
  • 大数据平台数仓及Hive/HBase
  • 大数据平台资源管理及YARN
  • 大数据平台批处理Spark
  • 大数据平台即时查询Impala、Trino/Presto
  • 大数据平台实时计算Spark Structed Streaming/Flink、Materialize
  • 大数据平台消息管道Kafka
  • 大数据平台查询引擎及Phoinex/Presto/Dreamio
  • 大数据平台采集及DataX/Canal/Streamsets/Debezium
  • 大数据平台搜索及Elasticsearch
  • 大数据平台多维实时查询Snappydata/Clickhouse
  • 大数据平台展示及Kibana/Davinci、DataEase

思维导图

花了一个午休时间,整理了大数据平台常用及不常用的100+组件的思维导图;一级节点分类为了保持两字词,强制缩写了部分词语,或者生硬的换了其他表达方式。该思维导图按采集、存储、计算、查询、搜索、基设、监控、运维、安全、测试、治理、展示、BI等维度对大数据开源组件及少数商用组件进行分类;有些组件具有多种类别属性、有些分类名为了保持名词整齐导致含义不不准确,所以有些组件的分类难免牵强。后续将陆续完善。
思维导图地址:
https://www.processon.com/view/5d54aa6be4b04399f5a52d23#map
Processon持续维护地址:
最全大数据入门组件-持续更新
pdf版百度网盘:链接: https://pan.baidu.com/s/19wq_I7tzt29ropSC-UF7Eg 提取码: hy8d

更新计划

删除受众较少的冷门组件,只保留Apache、大企业及Star在800以上组件
梳理同类组件选型分析、压测对比
整理企业级大数据平台建设流程及思路
重点整理常用大数据组件的生产级部署、调优、监控运维、架构原理、案例实战
经过检验,无重大错误后,上传至github维护

原文地址

  • 最全大数据开源组件思维导图

对于文中任何疑问,欢迎加微信讨论DawSongZhao:

你可能感兴趣的:(大数据,Trino,大数据)