kettle 7.1 打开后没有出现资源库的连接按钮解决办法-自己亲测解决

       大家做ETL数据分析处理的话,应该对kettle都不陌生吧,它是一款高效的etl处理工具,kettle 可以创建转换和作业两种任务,转换以.ktr 结尾,作业以.kjb 结尾。 为了管理方便,我们可以把它作为本地文件保存或保存到资源库,其中资源库又分为文件资源库和数据库资源库,其中数据库使用的最多啦。

           在linux 环境下做的测试,发现打开kettle后不能找到资源库的连接按钮,就是在右上角有个connect 按钮,现在没有显示出来,自己查询各种网上的解决办法,说需要删除spoonrc 文件,清除乱码部分,然后删掉db-cachexxx 文件,照做了都没有用,后来突然想起,在kettle启动时会输出很多信息,其中的关键信息给我了很大帮助,它会去读取资源库文件,就是repository.xml 文件,读取结果是失败了。 根据这个路径找到了对应的文件,结果发现文件内容为空,就当然会出问题了。

         kettle 7.1 打开后没有出现资源库的连接按钮解决办法-自己亲测解决_第1张图片

原来资源库的配置文件在这个地方,就是在kettle的安装目录下的,不是 用户.kettle 目录下的repository.xml 文件,把旧文件里的内容复制过来,重新保存一下,退出kettle重新启动就出现了资源库连接按钮。

         kettle 7.1 打开后没有出现资源库的连接按钮解决办法-自己亲测解决_第2张图片

1.  点击connect按钮后,有3个选项,DbRepostoy 和 Repository Manager 和Disconnect 选项,我们可以根据需要选择需要使用哪一种资源库模式。 当然推荐数据库资源库比较好的。

2. 这个时候又出现了一个新的问题,点击repository Manager 资源库管理器发现出现一个对话框,但是空白一片,没有内容显示,具体原因还不确定,网上博客说是ie 浏览器版本过低,需要升级,那个是windows下的解决办法,在linux 下不合适无法解决。暂时没有找到原因。

3. 现在数据库资源库是可以使用的。 数据库需要提前创建好。 在工具里----向导,创建数据库连接向导,根据提示步骤创建完成。建议,最好给kettle单独创建一个数据库和一个数据表,这样不容易和其他的混淆。方便管理。

4. 我们可以创建转换和作业文件了,具体的转换和作业流程,这里不做分析讲解,创建完成后,点击保存按钮,需要先连接到资源库,点击dbRepository, 点击后对勾会被勾选。 如图:  kettle 7.1 打开后没有出现资源库的连接按钮解决办法-自己亲测解决_第3张图片就表示我们的文件要保存到资源库里,这个时候就可以保存了,保存的时候会出现对话框,我们选择 作业属性里的目录,最后边有个方块按钮,点击进入就是资源库浏览框,默认只有一个根目录,我们可以自己根据需要创建对应的文件目录,比如根据任务名称创建或类型创建,这样方便查找管理。

kettle 7.1 打开后没有出现资源库的连接按钮解决办法-自己亲测解决_第4张图片

5.  这样,我们的转换和作业文件就被成功保存到了资源库里,下一步就是运行这个作业或转换文件,观察运行结果是否是我们想要的结果。

6. 一般是通过系统的定时任务调用脚本来执行,也就是crontab 调用。  我们可以根据需要,自由灵活的编写脚本来实现,shell 或Python脚本都可以的。 为了避免屏幕输出很多的信息,我们可以使用nohup  来启动脚本,也就是后台执行,输出的日志信息,可以重定向到一个日志文件里,这样如果运行结果错误,我们可以根据错误内容来定位到具体的问题发生的原因。

7.  需要注意的是资源库运行模式和普通模式不太一样的,资源库模式,需要在脚本中指定一些参数,比如 -rep  资源库名称   -user  用户名    -pass   密码     -dir  文件所在资源库的路径   -job  作业的名称   -level  日志级别    和一些其他必要的参数。这样就可以使用脚本去调用资源库的任务了。因为资源库和kettle 是集成的,所以这样很方便的管理操作。今天就介绍到这里,希望能解决遇到同样问题的人。  

 

 

 

你可能感兴趣的:(Hadoop,自学技术)