达梦DMETL快速入门

关于DMETL

达梦数据交换平台 DMETL 是具有自主版权的数据处理与集成平台。DMETL 创新的将传统 ETL 工具与分布式大数据处理平台相结合,实现对数据同步、数据处理以及数据共享交换的一站式服务,适合数据中心、数据仓库和数据湖的建设与运维等应用场景。

DMETL安装

DMETL5目前提供linux64位和windows64位下载,可选单机或者标准版。本次快速入门使用的是单机windows64位版。

DMETL5可以使用图形界面安装,比较简单,不再赘述。

需要注意的是安装中注意修改监听端口避免冲突,同时注意manager.ini中配置的jdbc属性值。单机版默认使用的是derby作为元数据库,而不是DM7。

注意检查DMETL安装目录下config文件夹中的配置文件。检查无误之后可以运行standalone_start.bat启动DMETL单机版的服务。

服务启动后从DMETLweb管理快捷方式即可通过web服务使用DMETL。

需要注意的是DMETL的web服务默认登录用户是admin/admin,这一点似乎没有在文档上说明,我是试出来的。

快速入门

创建数据源

设计-数据源-新建数据源

达梦DMETL快速入门_第1张图片

添加新表:

达梦DMETL快速入门_第2张图片

创建工程

设计-工程-新建工程:

 达梦DMETL快速入门_第3张图片

设计转换

新建转换

在工程的转换中右键选择新建转换

达梦DMETL快速入门_第4张图片

 达梦DMETL快速入门_第5张图片

双击已添加的转换名或者点击设计即可进入设计转换的界面:

达梦DMETL快速入门_第6张图片

 达梦DMETL快速入门_第7张图片

添加源表

拖动右侧数据读取下的表/视图节点到流程设计器中,然后再在流程设计器中的表/视图节点上右键属性。

达梦DMETL快速入门_第8张图片

 在数据集中选择表并配置属性

达梦DMETL快速入门_第9张图片

 同样添加另一个表,并可以给节点改名

达梦DMETL快速入门_第10张图片

数据清洗

下面可以对dmhr.job表中做一个列值转换。拖动右侧的 数据转换-数据清洗转换节点到流程设计器中,并作属性配置

达梦DMETL快速入门_第11张图片

 然后我们继续进行数据合并。我们拖出右边数据转换-连接组件,设置属性:

达梦DMETL快速入门_第12张图片

 达梦DMETL快速入门_第13张图片

 添加目的表

最后我们添加输出表。拖出右边的数据装载-表节点,设置属性,创建新数据表

达梦DMETL快速入门_第14张图片

 

达梦DMETL快速入门_第15张图片

 连接好各个节点,我们就完成了设计。整个设计流程如下:

达梦DMETL快速入门_第16张图片

 执行

点击运行可以开始执行流程

达梦DMETL快速入门_第17张图片

 执行完之后可以查看表中数据:

select * from dmhr.payment ;

达梦DMETL快速入门_第18张图片

 更多参考请查阅达梦云适配中心

DMETL | 达梦云适配中心 (dameng.com)

https://eco.dameng.com/etl/

你可能感兴趣的:(达梦DMETL快速入门)