ETL与ELT的区别与联系?

ETL与ELT的区别与联系

其实数据集成不算一个很新的概念,可能20年前就有数据集成的工具,大家经常会使用Talent, Informatica, Kettle, Data Stage这样一些工具。这些工具有一个共性,就是它的数据计算和转化功能是非常强大的。

而ELT从功能上来说没有差异,只是换了一个顺序。差别于,如果采用ELT的方案,首先把数据用一种高效的方式从数据源抽取出来,进行一些清洗和异常数据的剔除。当使用Kafka Connect做一个数据集成方案的时候,通常Kafka Connect只做一件事情:将数据从数据源抽取出来,放到一个或者多个目的地,具体的计算任务放到目的地。取决于这个目的地特点,你可以去利用数据仓的SQL去完成各种操作,也可以加一个额外的计算框架,例如Spark,对数据做更复杂灵活的计算。

ETL与ELT的区别与联系?_第1张图片

DataPipeline

你可能感兴趣的:(ETL与ELT的区别与联系?)