ETL工程师_个人职责

etl工程师是从事系统编程、数据库编程与设计,要掌握各种常用的编程语言的专业技术人员。也叫数据库工程师。

工作内容:

海量数据的ETL开发,抽取成各种数据需求。

参与数据仓库架构的设计及开发 。

参与数据仓库ETL流程优化及解决ETL相关技术问题。

熟悉主流数据库技术,如oracle、Sql server、PostgeSQL等。

精通etl架构,有一定的etl开发经验,了解日常作业的部署和调度。

会数据etl开发工具,如Datastage,Congos,Kettle等。

ETL中三个字母分别代表的是ExtractTransformLoad,即抽取、转化、加载。

  • 数据抽取:从源数据系统抽取目的数据系统需求的数据;
  • 数据转换:将从源数据源获取的数据按照业务需求,转换成目的数据源要求的形式,并对错误、不一致的数据进行清洗和加工;
  • 数据加载:将转换后的数据装载到目的数据源。

你可能感兴趣的:(大数据)