ETL、ELT、数据管道及其相关tool

一、定义

1. ETL

E: Extraction

raw data sources:

T: transformation

D： data loading

popular ETL tools

• talend
• AWS Glue
• Apache Airflow： scale for big data
• pandas

2. ELT

就是顺序变化了一下，先load再transform

因为big data的出现，ELT热起来了。

特点：

和 ETL的区别：

3. pipeline

特性

设计准则

batch or Streaming Data

准确性 VS 及时性

batch data

• 通常周期性执行（通过设置时间，数据量来触发process）
• operate on batches of data
• 不需要最新的数据
• accuracy是第一位
  
  应用场景：

streaming data

应用场景：

• watching movies, listening to music or podcasts
• social media feeds, sentiment analysis
• user behavior, advertising
• frau detection
• stock market trading
• real-time product pricing
• recommender system

数据管道相关tools 以及 techmologies

常规的技术要求：

tools :

• pandas: can not big data
• Airflow:big data(后续博文详细介绍)
• talend: big data
• AWS Glue
• Panoply: ELT
• alteryx: ETL + ELT
• IBM InfoSphere DataSrage: ETL + ELT

FOR streaming data：

• ibm streams
• apache storm
• sqlstream
• samza
• spark
• apache kafka（后续博文详细介绍）

二、shell 在 pipeline的应用

1. 重要命令

cut

顾名思义，就是用来截取部分doc内容或string内容

-d ： (delimited) 使用的分隔符号
-f： 选取的filed
-c: (character) 选取的字符

举个例子：

tr

translate 的过滤器，可以translate，squeeze, delete 操作

-s : 压缩重复出现的字符
-d: 删除指定的字符

举例子：