ETL流程标准化思路

ETL流程标准化思路

       根据培训计划,以下是整理的每个ETL开发维护的每个阶段的输入和产出物。

1.   ETL流程可以分成五个阶段

a.      探查阶段的输入和产出

任务名

输入物

产出物

数据流转探查

业务流程图

数据流程图

业务类型探查

数据卡片

业务数据字典表

数据质量探查

探查组长制定探查路线和任务

数据质量报告

开发环境探查

客户提供的所有软硬件环境

开发环境报告

数据卡片填写ETL逻辑

数据卡片

数据卡片

数据卡片评审

客户与项目组会议

评审会议纪要

Mapping

数据卡片

Mapping

Mapping评审

项目组会议

评审会议纪要

b.      开发阶段的输入和产出

任务名

输入物

产出物

ETL概要设计

系统架构师

ETL概要设计文档

ETL详细设计

系统架构师

ETL概要设计文档

ETL全量加载策略

系统架构师和ETL开发人员

全量数据抽取策略

ETL增量加载策略

系统架构师和ETL开发人员

增量数据抽取策略

ETL异常处理

系统架构师和ETL开发人员

ETL异常处理

ETL工具使用手册

ETL开发人员

ETL工具使用手册

ETL代码开发手册

ETL开发人员

ETL代码开发手册

ETL阶段开发报告

项目组会议

会议纪要

ETL调度运行报告

ETL开发人员

ETL调度运行报告

记录ETL问题及解决方法

ETL开发人员

ETL问题及解决方法

 

c. 测试阶段的输入和产出

任务名

输入物

产出物

数据正确性测试

数据卡片

数据正确性测试报告

系统ETL压力测试

压力测试方案

压力测试报告

系统ETL性能测试

性能测试方案

性能测试报告

测试问题解决情况

数据正确性测试报告

压力测试报告

性能测试报告

测试问题解决情况报告

阶段测试

数据卡片

压力测试方案

性能测试方案

阶段测试报告

 

d. 试运行阶段的输入和产出

任务名

输入物

产出物

系统数据质量检查

数据卡片,数据字典

系统试运行数据质量报告

ETL加工逻辑修改调整统计

数据卡片

ETL加工变更历史

试运行ETL调度运行情况

ETL调度日志

ETL调度运行报告

 

e. 运维阶段的输入和产出

任务名

输入物

产出物

运维阶段报告

系统数据质量检查

ETL加工变更

ETL调度运行情况

运维阶段报告

 

   以上只是一个粗稿,还需要进一步细化完善。

你可能感兴趣的:(02ETL设计与开发)