ZDH大数据采集平台-采集mysql数据到hdfs

目录

项目源码

创建mysql数据源

创建本地hdfs数据源

配置采集任务

配置调度

点击执行记录查看具体日志

高级使用

---

 

项目源码

数据采集平台管理端

https://github.com/zhaoyachao/zdh_web

数据采集平台服务

https://github.com/zhaoyachao/zdh_server

web端在线查看

http://zycblog.cn:8081/login

用户名：zyc
密码：123456

界面只是为了参考功能,底层的数据采集服务 需要自己下载zdh_server 部署,服务器资源有限,请手下留情

如果觉得项目不错记得分享给同伴和点star！！！

 

创建mysql数据源

 

创建本地hdfs数据源

 

配置采集任务

1.  

.

配置调度

点击执行记录查看具体日志

   不介绍，使用者自己点击查看

高级使用

 1 采集的数据需要做特定转换怎么办（如去除字段空格,日期格式转换,加减乘除）

   解：配置etl任务时，配置字段映射 使用sql 函数

2 目前的任务中都是固定参数或者无参，需要使用调度时间怎么办

 解：目前zdh 支持 调度的时间如下

{{ zdh_date_time}} ：yyyy-MM-dd HH:mm:ss 格式

{{zdh_date}}: yyyy-MM-dd 格式

{{zdh_date_nodash}}: yyyyMMdd 格式

{{zdh_year}}:年

{{zdh_month}}:月

{{zdh_day}}:日

{{zdh_hour}}:小时

{{zdh_minute}}:分钟

{{zdh_second}}:秒

3:是否支持告警

 解：目前只支持邮件告警，短信告警等其他告警需要自己实现，后期单独出如何对接其他告警