Linux环境下kettle集群部署小记（本文部署一主三从服务器）

kettle集群的部署已过了很长时间，今天突然想总结下部署过程，方便后人和自己以后部署方便。

一、运行环境

        kettle众所周知是Java开发的开源项目，故kettle需要java环境，正常大型项目可能需要用到kettle的资源库配置，故需要一台数据库服务器，里面单独建立kettle的资源库（后面配置会用到），仅此而已。

二、配置文件

       无论是主机还是从机都需要这两个配置文件，carte.xml和repositories.xml，其中carte.xml分主从机配置。这两个配置文件放在kettle文件的根目录下即可，下面分别说一下这两个配置文件都需要配置什么：

       1、carte.xml（主机配置）

   

  
    master1#kettle主机命名名称，可自拟
    1.1.1.1#你的主机IP的地址
    9090#端口号
    cluster#用户名固定
    cluster#密码固定
    Y#选择是主机还是从机，是Y否N
  
  
  
    dbrep_kettle7#kettle资源库名称
    admin#资源库用户名固定
    admin#资源库密码固定
  
  

        carte.xml（从机配置）

   
#master为主机配置，需要完全和主机的carte配置一一对应
  

    
      master1#主机的名字
      1.1.1.1#主机的IP配置
      9090#主机的端口号
      cluster
      cluster
      Y
    

  
#是否将从机结果反馈给主机
  Y
#从机配置
  
    slave1#从机名称，自拟
    192.150.251.157#从机地址
    9091#从机端口号
    cluster#从机用户名
    cluster#从机密码
    N#从机为N
  
#注意：从机同样要配资源库，且和主机资源库保持一致
  
    dbrep_kettle7
    admin
    admin
  

       2、 repositories.xml

#数据库连接
  
    kettle#数据库连接的名称，自拟
    10.10.10.10#数据库地址
    MYSQL#数据库类型
    Native#mysql默认为native（jdbc）连接方式
    kettle#数据库名称
    3306#mysql数据库端口号
    dsp_kettle7#数据库用户名
    Encrypted 2be98afc86ace9c97bb0cbc218dc7f09b#数据库密码
    
    
    
#默认属性，无需修改
    
      FORCE_IDENTIFIERS_TO_LOWERCASEN
      FORCE_IDENTIFIERS_TO_UPPERCASEN
      IS_CLUSTEREDN
      PORT_NUMBER3306
      PRESERVE_RESERVED_WORD_CASEY
      QUOTE_ALL_FIELDSN
      STREAM_RESULTSY
      SUPPORTS_BOOLEAN_DATA_TYPEY
      SUPPORTS_TIMESTAMP_DATA_TYPEY
      USE_POOLINGN
    
  
#资源库配置
  
    KettleDatabaseRepository#资源库id，固定，无需修改
    dbrep_kettle7#资源库连接名称，自拟，必须要与carte资源库配置一致
    dbrep_kettle7#资源库描述，自拟
    true#是否是默认资源库，选是就可以
    kettle#连接的数据库名称，和上面connection的数据库连接名称（name）保持一致
  

 三、kettle启动

       1、先看看.sh结尾的文件权限，权限不够需要赋予权限：

       # chmod  +x  *.sh  //以.sh结尾的文件必须拥有执行权限，如果没有，请赋予

       2、建议：可调节spoon.sh的最大内存占用空间，尤其是从服务器，主服务主要进行任务分配，从服务器进行执行，保证从服务器运行内存在4G以上，当然也要看我们的任务量和交换量，仅做建议。

       修改方法如下：vim spoon.sh

       找到这句话，修改里面的Xmx（占用内存最大值）：

       PENTAHO_DI_JAVA_OPTIONS="-Xms1024m -Xmx4096m -XX:MaxPermSize=256m"

       3、各个部署的机器上启动kettle，启动命令：nohup ./carte.sh carte.xml 2>&1 &

四、验证方法

       浏览器登录网址kettle部署的IP+你设置的端口号，输入设置的用户名密码（cluster）即可查看kettle状态，即启动成功。

        以上部署集群的方法如有问题或需要补充内容可与我单独交流，共同探讨。