##Kettle学习小结

//
Kettle学习小结 -
http://www.jianshu.com/p/43779258c1ce

Kettle学习小结学习资料官方文档： http://infocenter.pentaho.com开发帮助文档：http://wiki.pentaho.com/Bug报告地址： http://jira.pentaho.com/browse/PDI官方论坛： http://forums.pentaho.org/forumdisplay.php?f=135中文论坛： http://www.pentahochina.com一、部署系统的java环境

安装JDK，版本要在1.6及以上在oracle官网上下载JDK，并安装（目前上42服务器上已安装，所以如下查看）
查看服务器上安装的JDK的版本信息echo $JAVA_HOME

添加JDK的环境变量（目前上42服务器上已安装，所以如下查看）
1）查看服务器上安装的JDK的版本信息echo $JAVA_HOME2）查看系统环境变量中JAVA_HOMEvim /etc/profile二、Kettle的安装部署（Linux环境下）1、在Pentaho的官网下载Kettle（下载Kettle的链接）（目前下载的最新的pdi-ce-6.1.0.1-196版）http://community.pentaho.com/projects/data-integration/http://nchc.dl.sourceforge.net/project/pentaho/Data%20Integration/6.1/pdi-ce-6.1.0.1-196.zip2、上传到路径：/opt/kettle文件夹中：并解压缩该文件unzip pdi-ce-6.1.0.1-196.zip3、执行kitchen.sh命令cd /opt/kettle/data-integration执行：kitchen.sh命令，如下图示，说明Kettle部署完成。四、资料库的创建1、新建资料库新建：Kettle Database Repository资料库创建Kettle资料库的数据库链接，如下：（目前是将Kettle的资料库放在MySql中）配置MySql JDBC连接：（kettle_rep是MySql中事先创建好的数据库（用来存放kettle的资料库信息））（Kettle连接MySql数据库时，必须将：MySql的jdbc驱动事先放在，kettle的lib目录/opt/kettle/data-integration/lib中，否则会报错，如下：）2、创建资料库中的各种表，如下：自动创建：如下示：已经创建了46张Kettle资料库的数据表：输入：rep资料库的用户名：admin（默认），密码：admin3、可修改：资料库用户的密码：五、Spoon组件开发实例

Kettle连接Hive数据库
Kettle自带的hive jdbc驱动包：Hive中jar包存放的位置：/opt/kettle/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp23/lib如下：配置对应的hive数据库连接后，一直报错，如下示：原因：Kettle连接hive时一直报错，最终找到原因是：hadoop认证拒绝hive连接（即：hadoop不允许用户冒充hive角色进行连接访问），报错如下：User: hadoop is not allowed to impersonate hive.解决方案：最终修复如下：在hadoop的安装目录下：cd /opt/hadoop/hadoop-2.7.2/etc/hadoop，找到core-site.xml （Hadoop核心配置项文件），添加如下配置：这几个配置项的值都可以使用来表示允许所有的主机/用户组/用户
hadoop.proxyuser.hadoop.hostshadoop.proxyuser.hadoop.groups*最终，kettle连接hive成功，如下示：2、资料库中各项配置在如下路径下，找到文件：repositories.xml/opt/kettle/data-integration/.kettlevim repositories.xml打开，可以看到资料库的各种设置：如下：和编辑资料库连接中的信息，一一对应；3、转换中执行日志的设置1）任意打开一个转换，右击：找到属性：Properties：如下示：2）找到转换中：Logging位置：创建数据库连接：目前使用MySql数据库连接（即：将转换执行的日志信息，放在MySql数据库中，kettle_log是已事前创建好的数据库，trans_log表是自动创建好的，用来存放转换的执行日志信息。3）除了Transformation的日志外，也可以设置：Step，Performance，Logging channels，Metrics的日志，不过，目前暂时没有设置，因为只需要记录一些最关键的执行日志即可，否则如果添加的日志过多的话，会影响转换的运行速度。4）在kettle_log.trans_log表中可以查看到对应的执行记录：select *from kettle_log.trans_log torder by t.logdate desc;select *from kettle_log.trans_log twhere t.errors=1;--如果转换执行错误的话，kettle_log.trans_log中字段errors为1。

JOB的创建及定时
1）创建简单JOB，如下示：使用start组件和转换组件。2）start组件中定时：双击start组件，如下设置定时任务：3）运行JOB即可六、Kitchen命令执行cd /opt/kettle/data-integration

kitchen -version

kitchen –listrep
3、kitchen -rep=KettleRep -user=admin -pass=admin -level=Basic -job=job_test（用spoon组件创建好并定时的JOB，用kitchen命令执行：kitchen -rep=KettleRep -user=admin -pass=admin -level=Basic -job=job_test如果JOB有定时后，执行该命令后，可一直按照指定的时间间隔来执行。）七、开发中的坑（持续补充中）

1. hive中添加jar，解析日志，但是kettle连接hive数据源报错

问题描述：hadoop hdfs上是原来info日志的不规则的数据，hive中添加jar（/opt/hive/apache-hive-2.1.0-bin/lib/LogInputFormat.jar）来解析日志表数据，在hive命令行中，可正常执行；kettle连接hive时，可正常连接hive，但是解析对应的表时，一直报错。最终解决方案：在创建hive的数据库连接的时候，在高级中，添加：对应的解析程序的jar包。如下示：在高级中添加jar：add /opt/hive/apache-hive-2.1.0-bin/lib/LogInputFormat.jar已经可以成功加载：对应hive连接下的数据库表字段。