大数据hadoop生态技术简介

Hadoop 生态是指围绕 Hadoop 大数据处理平台形成的一系列开源软件和工具,用于支持大规模数据处理、存储、管理、分析和可视化等应用场景。暂时将其核心技术分为9类: 

  1. 数据采集技术框架: Flume、Logstash、FileBeat;Sqoop和Datax; Cannal和Maxwell
  2. 数据存储技术框架: HDFS、HBase、Kudu、Kafka
  3. 分布式资源管理框架: YARN、Kubernetes和Mesos
  4. 数据计算技术框架
    1. 离线数据计算 : MapReduce、Tez、Spark
    2. 实时数据计算:Storm、Flink、Spark中的SparkStreaming
  5. 数据分析技术框架: Hive、Impala、Kylin、Clickhouse、Druid、Drois
  6. 任务调度技术框架:Azkaban、Ooize、DolphinScheduler
  7. 大数据底层基础技术框架:Zookeeper
  8. 数据检索技术框架:Lucene、Solr和Elasticsearch
  9. 大数据集群安装管理框架:HDP、CDH、CDP

大数据hadoop生态技术简介_第1张图片 目前常用的Hadoop 生态包括:

  1. HDFS: Hadoop Distributed File System(HDFS)是 Hadoop 的分布式文件系统,用于存储大规模数据集,提供了高容错性、高吞吐量的数据访问。
  2. MapReduce: Hadoop 的分布式计算框架,用于处理大规模数据集,可实现分布式计算、数据清洗、批处理等任务。
  3. YARN:Yet Another Resource Negotiator(YARN)是 Hadoop 的资源管理框架,用于将计算和存储分离,实现集群资源的统一管理与调度。
  4. Hive:Hadoop 中的数据仓库工具,类似于传统的 SQL 数据库,可通过 HiveQL 进行数据存储、查询和分析等操作。
  5. HBase:Hadoop 中的分布式数据库,基于 HDFS 构建,支持高速查询和随机读写。
  6. Pig:Pig 是基于 Hadoop 的数据流语言,用于在 Hadoop 平台上执行复杂的数据处理任务。
  7. Sqoop:Hadoop 的数据导入和导出工具,用于在 Hadoop 平台和关系型数据库之间进行数据传输。
  8. Flume:Hadoop 的数据收集和汇聚工具,用于将数据从多个源收集到 Hadoop 中进行处理。
  9. Spark: Hadoop 的高性能数据处理框架,支持分布式计算、机器学习、数据挖掘等任务,是 Hadoop 生态中的一个重要组成部分。
  10. Zeppelin: Hadoop 的数据分析和可视化工具,将数据存储、查询、分析、展示等功能都聚合在一个交互式的笔记本中。

下满我们简单对比一下这9类技术中各个技术栈的差异。

1、数据采集技术框架

数据分析的前提是先要采集数据,因此数据采集是大数据的基础。

数据采集的技术框架有以下几种: 

1.1 Flume、Logstash和FileBeat常用于日志数据实时监控采集

flume、logstash、fileBeat 对比
对比项 Flume logstash Filebeat
来源 Apache Elastic Elastic
开发语言 Java jruby go
内存消耗
CPU消耗
容错性 高,内部事务机制 高,内部持久化队列
负载均衡 支持 支持 支持
插件 丰富的输入输出插件 丰富的输入输出插件 只支持文件数据采集
数据过滤 提供拦截器 强大过滤能力 弱有过滤能力
二次开发 对java程序员容易

1.2 Sqoop和Datax常用于关系型数据库离线数据采集

Sqoop、DataX
对比项 Sqoop DataX
来源 Apache 阿里
开发语言 Java Java
运行模式 MapReduce         单进程多线程
分布式 支持 不支持
执行效率
数据源类型 仅支持关系型数据库和Hadoop相关存储系统 支持20多种
扩展性 一般

1.3 Cannal和Maxwell常用于关系型数据库实时数据采集

Canal、Maxwell
对比项 canal Maxwell
来源 阿里 zendesk
开发语言 Java Java
数据格式 自由        json格式
HA 支持 不支持
bootstrap 不支持 支持
分区 支持 支持
随机读 支持 支持

2.数据存储技术框架

数据存储技术框架包括HDFS、HBase、Kudu、Kafka等

  • HDFS: 解决海量数据存储问题, 但是不支持数据修改
  • HBase: 是一个基于HDFS的分布式NoSQL数据库, 它可以利用HDFS的海量数据存储能力,并支持修改操作。
  • Kudu: 介于HDFS和HBase 之间的技术组件, 及支持数据修改,也支持基于SQL的数据分析。也因此它的定位比较尴尬,属于一个折中的方案,实际应用有限。
  • kafka: 常用语海量数据的临时缓冲存储,对外提供高吞吐量的读写能力。

3、分布式资源管理框架

企业的服务器资源(内存、CPU等)是有限的,也是固定的。但是,服务器的应用场景却是灵活多变的,随着大数据时代的到来,临时任务的需求量大增,这些任务往往需要大量的服务器资源。因此服务器资源的分配,入股完全依赖运维人员人工对接,太过耗时耗力。因此需要分布式资源管理系统, 常见的有YARN、Kubernetes、Mesos。 

  • YARN主要应用与大数据领域
  • Kubernetes主要应用与云计算领域
  • Mesos主要应用与云计算领域

4、数据极端技术框架

数据计算分为离线数据计算和实时数据计算

4.1 离线数据计算

  • MapReduce 大数据行业的第一代离线数据计算引擎,主要用于解决大规模数据集的分布式并行计算。它是将计算逻辑抽象成map和reduce两个阶段进行处理。
  • Tez计算引擎在大数据生态圈中使用的比较少
  • Spark最大的特点是内存计算,任务执行阶段的中间结果全部会放在内存中,不需要读写磁盘,提高了数据的计算性能。且spark提供了很多高阶函数,可以实现各种复杂逻辑的迭代计算,适用于海量数据的快速且复杂计算。

4.2 实时数据计算

  • Storm 主要应用与实现实时数据分布式计算,适用于小型、独立的实时项目
  • Flink 新一代实时数据分布式计算引擎,计算性能和生态圈都优于Storm,高吞吐低延迟。
  • Spark的SparkStreaming组件也可以提供基于秒级的实时数据分布式计算
storm、SparkStreaming、Flink
比较项 storm SparkStreaming Flink
计算模型 Native Micro-Batch Native
API类型 组合式         声明式 声明式
语义级别 At-Least-Once         Exectly-Once Exectly-Once
容错机制 Ack Checkpoint checkpoint
状态管理

5、数据分析技术框架

数据分析技术框架包括Hive、Impala、Kylin、Clickhouse、Druid、Drois等

Hive、Impala、Kylin 属于离线OLAP数据分析引擎:

  • Hive 执行效率一般,但稳定性极高
  • Impala 基于内存可以提供很高的执行效率, 但是稳定性一般
  • Kylin通过预计算可以提供PB级别数据ms级响应
Hive、Impala、Kylin
比较项 Hive Impala Kylin
计算引擎 MapReduce 自研app MapReduce/Spark
计算性能
稳定性
数据规模 TB级别 TB级别 TB、PB级别
SQL支持度

HQL

兼容HQL 标准SQL

Clickhouse、Druid、Doris 属于实时OLAP数据分析引擎:

  • Druid支持高并发,SQL支持有限,目前成熟度较高
  • Clickhouse并发能力有限,支持非标准SQL。目前成熟度较高
  • Doris 支持高并发,支持标准SQL,还处于告诉发展阶段
Druid、ClickHouse、Doris
比较项 Druid ClickHouse Doris
查询性能
高并发
实时数据插入 支持 支持 支持
实时数据更新 不支持
join 操作 有限 有限 支持
SQL支持 有限 非标准SQL 较好
成熟度
运维复杂度

6、任务调度技术框架:

任务调度技术框架包括Azkaban、ooiz、DolPhinScheduler等。 主要适用于普通定时任务执行,以及包含复杂依赖关系的多级任务进行调度,支持分布式,保证调度系统的性能和稳定性。

Azkaban、ooiz、DolphinScheduler
比较项 Azkaban ooiz DolphinScheduler
任务类型 shell脚本及大数据任务 shell脚本及大数据任务 shell脚本及大数据任务
任务配置 自定义DSL语法配置 XML文件配置 页面拖拽配置
任务暂停 不支持 支持 支持
高可用(HA) 通过DB支持 通过DB支持 支持( 多master 多worker )
多租户 不支持 不支持 支持
邮件告警 支持 支持 支持
权限控制 粗粒度 粗粒度 细粒度
成熟度
易用性
所属公司 Linkedln Cloudeara 中国易观

7、大数据底层技术框架

大数据底层技术框架只要指zookeeper。

大数据生态圈中的hadoop、HBase、Kafka等技术组件的运行都会用到zookeeper, 它主要提供基础功能,如:命名空间、配置服务等

8、数据检索技术框架

数据检索主流的技术是Elasticseacrch, 其它的还有Lucene、Solr等。

Lucene、Solr、ES
对比项 Lucene Solr Elasticsearch
易用性
扩展性
稳定性
集群运维难度 不支持集群
项目集成度
社区活跃度

9、大数据集群安装管理框架

如果企业想从传统的数据处理转型到大数据处理, 首先要做的就是搭建一个稳定可靠的大数据平台。 而一个完整的大数据平台包含数据采集、数据存储、数据计算、数据分析、集群监控等,这些组件要部署到上百台甚至上千台机器中。 如果完全依靠运维人员追个安装,工作量太大,且各个技术栈之间还会有版本匹配的问题。 

基于上面的问题, 大数据集群安装管理工具便诞生了。目前常见的包括CDH、HDP、CDP, 他们对大数据组件进行了封装,提供了一体化的大数据平台,可以快速安装大数据组件。

  • HDP,全称Hortonworks Data Platform, 基于Hadoop进行了封装,借助Ambari工具提供界面化安装和管理,且集成了大数据的常见组件,可以提供一站式集群管理。完全开源免费,没有商业化服务,但是从3.x版本后就停止了更新。
  • CDH,全称Cloudera Distribution Including Apache Hadoop 。借助于Cloudera Manager 工具提供界面化安装和管理,且集成了大部分大数据组件,可以提供一站式集群管理。属于商业化收费大数据平台,6.x版本后停止更新。
  • CDP, Cloudera Data Center, 与CDH来自同一家公司,且它的版本号延续了之前的CDH的版本号。 从7.0开始,CDP支持Private Cloud (私有云) 和 Hybrid Cloud (混合云) . CDP将HDP和CDH中比较优秀的组件进行了整合,且增加了一些新的组件。

文章转载自,做个部分修改和补充: 一文看懂大数据生态圈完整知识体系

你可能感兴趣的:(大数据,大数据,hadoop)