ETL开发规范

1、ETL数据架构层次

ETL数据架构层次

2、建表规范

建表规范

3、命名规范

命名规范

4、作业开发规范

注释：作业说明是一种注释,位于作业最开始部分。作业说明有助于提高代码的可读性和可维护性。注释放置在界面的左上⻆。

其具体内容包括：

功能说明：简述该作业的作用与所要完成的目的
更新方式：REPLACE|MERGE|APPEND
创建人：建立该作业的作者,格式：姓名
创建日期：首次建立该作业的日期,日期格式为：yyyy-mm-dd
运行周期：该作业运行的周期,如日、月等
例程：调用该作业的命令行语句,含输入参数
备注：比较特殊的依赖关系,重要说明等
维护记录：包含以下三点,打横记录
维护日期：该作业被维护的日期,若存在多次维护,则每次维护均需记录维护人：维护该作业的作者,格式：姓名
维护内容：记录本次维护的修改内容、修改原因等信息

4.png

5.png

5、开发注意事项

参数命名

Kettle.properties 文件参数

DW_源库简称_DB_NAME=

DW_源库简称_DB_PORT=

DW_源库简称_DB_USER=

DW_源库简称_DB_PASSWORD=

DW_源库简称_DB_HOST=

DW_源库简称_DB_JDBC=

作业检查

DW层~DMR层ETL脚本检查：

① 临时表建表，不要有删表语句

② 逻辑简单可一步写入目标表的逻辑不要建临时表，临时存储

③ 所有SQL组件必须勾选使用变量替换

参数使用

① 每一步SQL组件都需要添加一下两个参数

set mapred.job.name=${Internal.Job.Name}:步骤描述;

set mapreduce.job.queuename=${DW_DEFAULT_QUEUE};

② 动态分区参数，当使用动态分区时添加以下两个参数

set hive.exec.dynamic.partition=true;

set hive.exec.dynamic.partition.mode=nonstrict;

③ 如果UNION ALL的部分个数大于2，或者每个UNION部分数据量大，应该拆成多个INSERTINTO 语句，实际测试过程中，执行时间能提升50% 或者使用下面两个参数，增加并发：

set hive.exec.parallel=true;

set hive.exec.parallel.thread.number=16; -- 默认值 8

④ mapJoin的主要意思就是，当链接的两个表是一个比较小的表和一个特别大的表的时候，我们把比较小的table直接放到内存中去，然后再对比较大的表格进行map操作。join就发生在map操作的时候，每当扫描一个大的table中的数据，就要去去查看小表的数据，哪条与之相符，继而进行连接。这里的join并不会涉及reduce操作。map端join的优势就是在于没有shuffle。在实际的应用中，我们这样设置：

set hive.auto.convert.join=false; -- 默认值true

常见场景：大表和小表关联查询，return code 2