组件说明
CDH 6.1.1
线上 Hadoop 集群最终采用了 CDH 发行版, 版本是 CDH 6.0.0, 后续升级到 CDH 6.1.1. 上述组件中, Kafka, HBase, Hive, Cloudera Manager 直接使用 CDH 提供的版本.
Kafka 2.0.0-cdh6.1.1
Kafka 早期定位一个高吞吐的消息队列, 而如今已经发展成一个分布式的流处理平台. 该同步系统不直接使用 Kafka, 而是使用 Kafka 官方提供的 Kafka Connect 组件.
Kafka Connect 2.0.x-internal
CDH 提供的 Kafka 不支持 Kafka Connect 组件, 故基于 Apache Kafka 的 2.0 分支自行修改, 修复一些 bug, 增加了 Prometheus, Jolokia 监控等功能, 并使用 Docker 部署该组件集群.
Kafka Connect 是官方基于 Kafka 构建的一个数据传输组件, 通过对 Producer, Consumer 等基础 API 的封装, 抽象出 Source Plugin, Sink Plugin, Connector, Task 等概念, 并提供严格一次消费语义, 大大简化了消息传输的开发成本.
Debezium 0.x-internal
Debezium 是 Redhat 团队发起的一个项目, 用于 Change Data Capture (CDC). 它是一个 Kafka Connect Source Plugin, 可以通过 JDBC 全量抽取 MySQL 数据和使用 Binlog 增量捕获 MySQL 数据, 并通过 Kafka Connect 将数据送入 Kafka.
Debezium 除 MySQL 外, 还支持 PostgreSQL, MongoDB, SQL Server, Oracle 等数据库.
Debezium 目前还处在 0.x 的开发阶段, 使用过程中发现一些 bug, 故基于主线检出自行维护了内部版本, 并将 bugfix 反馈到上游.
Sink Plugin
该组件是自行开发的一个 Kafka Connect Sink Plugin 组件, 用于消费 Kafka 中 MySQL 的全量同步和增量同步数据, 将其处理后送入 HBase 和 ElasticSearch.
该组件还支持库名表名映射, 拉链表生成, 数据版本控制, 以及一些简单的数据处理功能, 如数据脱敏, 数据格式转换等.
HBase 2.1.0-cdh6.1.1
分布式的列式存储数据库, 支持海量数据存储, 有极高的并发写入性能, 但查询性能受限.
ElasticSearch 6.5.4
分布式搜索引擎, 高并发写入和查询友好, 适用于存储近期(如3个月)的热点数据.
Hive 2.1.1-cdh6.1.1
基于 Hadoop 的一个数仓分析工具, 通过 Hive SQL 实现数据查询和处理; 我们使用的 CDH 版本仅提供 MapReduce & Spark 两种计算引擎, 不支持 Tez 及 LLAP, 故只能作为离线数仓工具.
Hive Metastore 已成为 Hadoop 平台事实上的 Catalog 标准, 几乎所有的数据处理组件, 如 Spark SQL, Impala, Pig, Presto, Flink, Max Compute 都对 Hive Metastore 做了兼容.
MySQL 5.6 & 5.7 & Aliyun RDS
公司整套业务系统使用微服务构建, 数据主要分散在10来台 MySQL 中, 其中包括自建的 MySQL 5.6 & 5.7 和阿里云 RDS MySQL 5.6 & 5.7, 是整个数据同步系统的数据源头.
Prometheus 2.5.0
Prometheus 是一套开源的监控 & 报警 & 时间序列数据库的组合. 通过在 Kafka Connect 集群嵌入 exporter 插件, 采集监控数据, 并配合 Grafana 展示, 以提供数据同步延迟监控和报警等功能.
Cloudera Manager cdh6.1.1
Cloudera Manager 是 CDH 发行版提供的一个组件, 用于可视化的管理 CDH 集群组件, 包括组件的安装和卸载, 配置管理, 监控报警等功能.
Skyline
该组件是自研的一套可视化操作和管理平台, 包括 Kafka Topic 管理, Kafka Connect 集群管理, Kafka Connect Task 管理, Hive Schema 管理, 监控报警等功能.