Linux集群部署Kettle

一.Kettle原理简单描述:

一个主carte服务器和多个carte服务器组成,类似于主仆模式(Master-Slave)，实质Master并不是处理处理具体任务,仅仅只负责任务的分发和运行结果的收集。Master节点收到请求后,会把任务分成多个部分交给slave carte执行，slave(子节点)执行完毕会把结果信息交给Master进行汇总收集，最终结果返回。

二.主仆模式（Master-Slave）核心思想:

一个基于分而治之思想设计模式，将一个任务（原始任务）分解为若干个语义等同的子任务，并由专门的工作者线程来并行执行这些任务，原始任务的结果是通过整合各个子任务的处理结果形成的。

三.基本集群环境配置(服务器信息):

• 环境相关信息:linux(Centos6.8.iso镜像) + JDK 1.8.0_171 + pdi-ce-7.0.0.0-25
• 节点相关信息:
  1. 192.168.146.131:8080 （Mster主节点）
  2. 192.168.146.132:8081 (SlaveFrist)
  3. 192.168.146.133:8082 (SlaveSecond)
• 注意:节点服务器节点开防火墙,不然访问不了

四.配置Kettle集群

1.1 配置主节点服务器

打开Kettle解压目录,再找集群配置文件的目录(data-integration../pwd)，里面有4个XML文件，包含主服务配置文件(carte-config-master-8080.xml)和子服务器配置文件(carte-config-**.xml)。

配置描述

主服务器相关配置

1.2 配置从节点服务器

子服务器器相关配置

注意：剩下子服务器复制主从配置文件(修改静态IP即可)

1.3 启动节点信息

启动节点命令

启动成功的判断(监听的IP+Port)

1.4 spoon建立集群,创建子服务器

Spoon中主服务器配置

Spoon中从服务器配置

Sponn子服务器集群配置

设计转换流程启动(Run)