ETL工具的比较:DATASTAGE, KETTLE ,ODI ,SSIS

DATASTAGE 部分

ETL工具的比较:DATASTAGE, KETTLE ,ODI ,SSIS_第1张图片

ETL工具的比较:DATASTAGE, KETTLE ,ODI ,SSIS_第2张图片ETL工具的比较:DATASTAGE, KETTLE ,ODI ,SSIS_第3张图片DS 产品组成:
Client 客户端层 视频中讲解的版本为8.7 版本 datastage administrator datastage designer datastage director

datastage administrator: DS项目的项目管理(项目的添加,删除,修改配置等)
datastage designer : JOB的设计和执行(job的创建,删除,编译,执行等)
Datastage director : job 运行的监控

engine引擎层
server engine 负责抽取,转换,装载和标准化数据的JOB执行
ASB agents application service backbone 负责服务层和引擎层的通信

services 服务层
websphere application server
WEB 容器

repository元数据层 默认选择DB2

job 类型
server jobs 运行在 datastage server engine上
没有并行功能

Parallel jobs
运行在datastage parallel engine 上
内置管道并行 和分区并行

Transformer stage
Mainframe job
Sequence jobs 运行在datastage server engine上
用于JOB的调度配置依赖等 可以启动server jobs 和 parallel jobs

ETL工具的比较:DATASTAGE, KETTLE ,ODI ,SSIS_第4张图片

ETL工具的比较:DATASTAGE, KETTLE ,ODI ,SSIS_第5张图片

infosrvr:~more /opt/IBM/InformationServer/Server/Configurations/default.apt

{
node “node1”
{
fastname “infosrvr”
pools “”
resource disk “/opt/IBM/InformationServer/Server/Datasets” [pools “”]
Resource scratchdisk “/opt/IBM/InformationServer/Server/Scratch” [pools “”]
}
node “node2”
{
fastname “infosrvr”
pools “”
resource disk “/opt/IBM/InformationServer/Server/Datasets” [pools “”]
Resource scratchdisk “/opt/IBM/InformationServer/Server/Scratch” [pools “”]
}
}

机器的话,一般我们按照按两个CPU去做一个节点,比如一台机器8个CPU一般会做4个节点,

ETL工具的比较:DATASTAGE, KETTLE ,ODI ,SSIS_第6张图片
ETL工具的比较:DATASTAGE, KETTLE ,ODI ,SSIS_第7张图片
ETL工具的比较:DATASTAGE, KETTLE ,ODI ,SSIS_第8张图片
final delimiter = end 默认文件是行格式
delimiter = comma comma 是逗号的意思,列分隔符是逗号

ETL工具的比较:DATASTAGE, KETTLE ,ODI ,SSIS_第9张图片
ETL工具的比较:DATASTAGE, KETTLE ,ODI ,SSIS_第10张图片
DB2 connector

在这里插入图片描述

ETL工具的比较:DATASTAGE, KETTLE ,ODI ,SSIS_第11张图片
ETL工具的比较:DATASTAGE, KETTLE ,ODI ,SSIS_第12张图片
ETL工具的比较:DATASTAGE, KETTLE ,ODI ,SSIS_第13张图片
ETL工具的比较:DATASTAGE, KETTLE ,ODI ,SSIS_第14张图片

你可能感兴趣的:(etl,数据仓库)