工作笔记——kettle

Amazing

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。Kettle这个ETL工具集，允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。
Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。

ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。

在网上找的一个快速入门的例子：
https://jingyan.baidu.com/article/6b97984dcb1e9d1ca3b0bf4f.html

Pentaho biserver 环境变量设置
http://www.tuicool.com/articles/eaueae

需要先安装JRE才可以运行，并设置PATH环境变量，添加JRE的bin地址
http://blog.csdn.net/alex201203/article/details/28238557

1、 如果设置了自动发邮件，那么当电脑开机密码改变后，邮件将无法自动发送，相应的KETTLE发邮件设置要改！
2、 使用DOS命令执行kettle，指定文件后缀时，要使用详细路径，当文件名中有空格时，空格要用双引号引起来。
EG：先到d:\kettle下，然后pan.bat /file:d:\日常工作\规划等\pdi_file\read”“file““text.ktr，如果是job，则将pan.bat换成kitchen.bat,后缀为kjb。
如果需要输入一个变量值，在输入文件路径后空一格，再输入变量。
i. 如果文件名里面有空格，则需要在英文状态下用双引号把空格引用起来。
ii. 文件名最好不要有特殊字符

批处理文件执行Kettle：在记事本中编辑，后缀改为.bat
CD
D:
CD D:\KETTLE
pan.bat /file:D:\日常工作\check""by""city\BI-CHECK""By""City.ktr>>D:\日常工作\check""by""city\LOG.TXT

3、 Kettle调度的时候不需要调整字段的顺序，它可以根据字段名称自动识别。
4、 在一个转换里面，数据库连接默认的都一样，需要修改的话，则是“新建”，否则所有的连接都会改变。
5、 输出到Access：如果接收输出结果的文件不存在，则需要新建文件，那么Create Database和Create Table都要勾选（这两个其实是默认的），The database filename是Access数据库的名称，Target Table是数据库表的表名。

Paste_Image.png

6、 分组
需要先排序，排序的时候要注意字段顺序
7、 通过文件是否存在判断数据是否正确or流程是否正常结束
如BI-stock-check
其中关键点是输出文件Excel设置为在开始时不创建，即勾选Do not create file at start。
8、文件名不可以有%

Kettle运行失败需要注意，可能会有部分数据进入数据库，重新运行时需要先清空目标表。

Kettle导出到Excel2007：在内容标签页获取字段

Paste_Image.png

如果数据库有多个目标模式（scheme），需要指定这个参数