Trafodion ETL工具odb进行数据load方法及性能

简介

odb是Apache孵化项目Trafodion自带的ETL工具,主要可完成数据表的导入、导出和两个数据库之间的复制功能。是一个小巧实用、linux/windows双平台的工具。

当环境安装配置好odbc驱动后,就可使用odb对Trafodion、oracle等数据库进行导入、导出、复制操作。


指令及参数说明

指令如下:

./odb64luo -u USERNAME -p PASSWD -d DSN -l src=FILE_PATH:tgt=TRAFODION.SCHEMA_NAME.TABLE_NAME:loadcmd=UL:max=N:fs=,:parallel=M

使用以上指令可以把文件 FILE_PATH 导入数据库的表 TRAFODION.SCHEMA_NAME.TABLE_NAME 中。

-u:数据库用户名

-p:数据库密码

-d:数据库DSN,对应odbc.ini文件中的配置

-l:说明是load功能,相应的有 -e 导出, -cp 表复制

src:源文件路径

tgt:目标表

loadcmd:提供IN/UP/UL,其中UL速度最快,不过不做检查

max:load多少行,不写该参数默认load整个文件

fs:文件总每列的分隔符

parallel:并行程度,同时起多少个线程load数据,根据环境配置,正确设置该值可以极大优化load速率

当然,还有很多参数可以设置,这里不一一描述。


load性能

Trafodion ETL工具odb进行数据load方法及性能_第1张图片

load性能和文件属性有很大的关系,如果文件中每行数据较多(对应表的列数多,每列内容多),则吞吐量较大

不同并发程度load数据的吞吐量如上图,在文件每行长度较大的情况下,可达135MB/s。


想要使用的朋友可以在GITHUB开源社区搜索 INCUBATOR_TRAFODION。


具体使用方法见官方说明书:

http://trafodion.incubator.apache.org/docs/odb/


你可能感兴趣的:(odbc,etl,trafodion)