Kettle 集群（cluster）在多个服务器（windows、linux）上并发执行
Kettle集群（cluster）在多个服务器（windows、linux）上并发执行
目录
一、 Kettle的部署...3
二、 服务器介绍...3
三、 carte相关配置文件说明...3
四、 carte服务开启...4
五、 在kettle图形界面中对集群进行设定...5
六、 基于kettle集群模式对数据库表进行排序...6
1、 创建数据库连接...6
2、 创建表输入...7
3、 使用排序记录对数据库表中的数据进行排序处理。...8
七、 表输出...9
八、 执行转换...9
九、 结果输出...10
关于kettle集群在单机上的测试可参考文档：http://www.cnblogs.com/inuyasha1027/p/3259402.html。这里主要介绍服务器分布在不同主机上的情况。
一、Kettle的部署
不管是linux下还是windows下部署kettle前提是机器上都已安装JDK。其次把kettle的安装文件解压后即可。Windows下启动spoon.bat；linux下启动spoon.sh。
二、服务器介绍
本实验使用的服务器：
127.0.0.1 lixuemei-PC
10.2.2.11 DBM011
10.4.2.12 DBM012
10.2.2.10 DBM010
三、carte相关配置文件说明
本实验开启的四个carte服务，其中一台为Master另外三台为Slave，来实现在Kettle的Spoon中对mysql数据库中数据表读取后，以集群方式来执行排序的过程。
Carte的配置文件所在路径：F:\BDE\kettle\data-integration\pwd
（1）主服务器（carte-config-master-8080.xml）的配置内容为：
其中
（2）子服务器（carte-config-8082.xml）的配置内容为：
其中
同样方式设定其他自服务器（carte-config-8083.xml、carte-config-8085.xml）的配置内容。把更改好的windows下的pwd文件夹分别覆盖其他三个服务器上的相应文件夹。
四、carte服务开启
对于Windows运行：Carte.batIP address port
对于Linux运行：carte.shIP address port
图1所示启动windows上的主节点，并已启动成功。
图1 Master1
相似地，图2—图4在linux上启动其他三个子节点：
图2 Slave1-8085
图3 Slave2-8082
图4 Slave3-8083
五、在kettle图形界面中对集群进行设定
特别需要注意的是：服务器的名称一定要与pwd文件夹下面的配置文件
图5所示配置好的主节点，需要在“是服务器吗”选项勾选。
图5 主节点配置
图6所示配置好的三个配置好的子节点，在"是主服务器吗？"这个选项中，因为它不是主服务器，所以不对其进行勾选。
图6 子节点配置
下图是将各个子服务器导入到集群中，命名为linux_test_cluster：
图7 kettle集群schemas设定
六、基于kettle集群模式对数据库表进行排序
1、 创建数据库连接
点击【主对象树】下的【DB连接】进行创建数据库连接。
图8 数据库连接
2、 创建表输入
在【核心对象】中的【输入】中把【表输入】拖到主窗口。双击工作区中的【表输入】图表就可以写对应的查询语句：
图9 创建表输入
3、 使用排序记录对数据库表中的数据进行排序处理。
在【核心对象】中的【转换】中把【排序记录】拖到主窗口。双击工作表中的【排序记录】，设置需要排序的字段，具体如下图：
图10 排序记录设定
如果要实现的是集群并发的方式来对数据进行排序，需要右键单击【排序记录】后选择【集群】
图11 选择集群
确定后【排序记录】成如下情形：
图12 选择集群后结果
七、表输出
对于输出，我们输出到site数据库的kettle_rank_site_copy表：
图13 创建表输出
八、执行转换
执行转换时选择【集群方式执行】：
图14 集群方式执行
九、结果输出
图15 Master1输出
图16 slave1-8085输出
图17 slave2-8082输出
图18 slave3-8083输出