ZDH大数据采集平台-数据源管理

本次介绍基于ZDH v4.7.18版本

预览地址

后台管理-登陆

用户名:zyc
密码:123456

安装包下载地址

登录预览系统-可下载安装包

数据源管理

数据源管理主要包含ZDH数据采集平台支持的多种数据源,在4.7.18版本中支持以下数据源

JDBC:(常用数据库,oracle,mysql,postgresql,sql server,clickhouse,gbase,达梦,greenplum,hive)

HDFS:hadoop分布式文件系统

HBASE: 分布式列式存储数据库

MONGODB: 基于分布式文件存储数据库

ELASTICSEARCH:搜索服务,简称ES

HIVE: ZDH默认使用一个HIVE元数据服务

KAFKA: 消息队列,底层采用spark-stream实现,如果对实时性要求高,可通过zdh_flink平台替代

HTTP: 目前支持http-json,数据格式

REDIS: 支持redis, hashmap结构, key为表名+主键结构,value是map结构,map的key是字段名,value是字段值

CASSANDRA: nsql数据库

SFTP: 支持

KUDU: 支持

FLUME: 支持

TIDB:支持

ICEBERG: 支持,但是存在一定限制,v5.0.0之后会实现flink iceberg实现

DATAX: 集成datax,可无缝迁移datax任务,并提供datax可视化配置

FTP: v5.0.0版本之后支持

你可能感兴趣的:(etl,数据采集,大数据spark)