kettle的技巧

Kettle

ETL工具集总称。
pentaho公司收购了kettle项目，主要用于db数据处理，
kettle中spoon是一个图形界面的名称，主要用于方便开发者开发程序。（主要开发转换和作业）
转换用pan.sh/pan.bat来运行
作业用kitchen.sh/kitchen.bat来运行。
支持java调用 转换和作业。

－－－－－－－－－－－－－－－－－－－－ETL的数据库密码加密
生成数据库的密码：新打开一个shell
cd /opt/data-integration/ #进入kettle目录
./encr.sh -kettle 'ZZZ@)!%' #生成密文，注'不能去掉
得到密文：Encrypted 2be98afc86aa7f2e48510ad75fedbee9f

然后到/opt/etl/kettle/.kettle目录中：
vi kettle.properties 填充内容如下：
omega_user=MyTeam
omega_pwd=Encrypted 2be98afc86aa7f2e48510ad75fedbee9f

－－－－－－－－－－－－－－－－－－－－ETL的配置文件独立出来：
(默认的路径是：~/.kettle/kettle.properties)

单用户启用KETTLE_HOME变量： 
~/.bash_profile中在最后添加：export KETTLE_HOME=/opt/etl/kettle
所有用户启用KETTLE_HOME变量： 
/etc/profile中在最后添加：export KETTLE_HOME=/opt/etl/kettle

－－－－－－－－－－－－－－－－－－－－
在linux中配置好 KETTLE_HOME=/opt/etl/kettle时，使用kitchen.或pan.sh执行任务可以使用到环境变量，但使用java时是使用不到这个环境变量的。所以需要运行java时指定环境变量： 
java -DKETTLE_HOME=/opt/etl/kettle -cp $etlLib:$etlJar $main $etl $startDate $endDate
或者使用linux的环境变量： 
java -DKETTLE_HOME=$KETTLE_HOME -cp ...