ETL的模式以及优缺点

首先,ETL有四种主要实现模式:触发器模式、增量字段、全量同步、日志比对。

其次,四种模式的优缺点

  1. 触发器模式

优点:数据抽取的性能高,ETL 加载规则简单,速度快,不需要修改业务系统表结构,可以实现数据的递增加载。

缺点:要求业务表建立触发器,对业务系统有一定的影响,容易对源数据库构成威胁。

  1. 增量字段

优点:同触发器方式一样,时间戳方式的性能也比较好,ETL 系统设计清晰,源数据抽取相对清楚简单,可以实现数据的递增加载。

缺点:时间戳维护需要由业务系统完成,对业务系统也有很大的侵入性(加入额外的时间戳字段),特别是对不支持时间戳的自动更新的数据库,还要求业务系统进行额外的更新时间戳操作;

另外,无法捕获对时间戳以前数据的delete和update 操作,在数据准确性上受到了一定的限制。

  1. 全量同步

优点:对已有系统表结构不产生影响,不需要修改业务操作程序,所有抽取规则由ETL完成,管理维护统一,可以实现数据的递增加载,没有风险。

缺点:ETL 比对较复杂,设计较为复杂,速度较慢。与触发器和时间戳方式中的主动通知不同,全表比对方式是被动的进行全表数据的比对,性能较差。当表中没有主键或唯一列且含有重复记录时,全表比对方式的准确性较差。

  1. 日志对比

优点:ETL同步效率较高,不需要修改业务系统表结构,可以实现数据的递增加载。

缺点:业务系统数据库版本与产品不统一,难以统一实现,实现过程相对复杂,并且需深入研究方能实现。或者通过第三方工具实现,一般都是商业软件,而且费用较高。

  1. 模式对比

ETL的模式以及优缺点_第1张图片

你可能感兴趣的:(etl,数据库,数据仓库)