kettle入门杂乱笔记

kettle

安装:

下载地址[kettle下载地址](https://sourceforge.net/projects/pentaho/files/Data Integration/)

下载后直接解压即可,解压后打开你的文件夹,找到spoon.bat,点击等待一会即可,无需安装,遇到有时候出现jdk地址无法找到时,使用记事本编辑它,在里面添加下面代码,对小提一嘴,程序员嘛,就尽量别使用记事本了,使用Notepad++吧,里面的东西比记事本好用一些,支持的编码格式啥的也挺好用的。

set JAVA_HOME=D:jdk1.8 #指定自己的安装路径
set PENTAHO_JAVA_HOME=%JAVA_HOME%

kettle入门杂乱笔记_第1张图片

表输入时出错

遇到Couldn’t get field info from [SELECT * FROM student;] 假如说你确定你的代码没有出错,在进行表连接时却报错了,去你的kettle\data-integration\lib下面看看你的mysql-connector-java是否与数据库版本一致,如过不知道你的数据库版本,Windows端可以直接进行搜索,而Linux端则进行查找你的MySQL安装地址,可以看到对应版本,再使用相关软件进行传输出来即可,再放到kettle\data-integration\lib下面,并将原本的删除。

注意:在使用时建议删除一个后缀文件名,不然会出现两个
kettle入门杂乱笔记_第2张图片

同等条件下,建议使用Microsoft Excle输出,因为体积更小。

注意,在输出sql语句转换时,一定要注意kettle里面没有varchar类型,默认改成TINYTEXT,所以在重新导入创建时一定要记得自行修改。

解决链接MySQL时出现乱码问题

找到my.cnf文件,假如不知道自己的my.cnf文件在哪

cd ~
find -name my.cnf

查找道自己的my.cnf文件后编辑添加下面配置

[mysqld]
character_set_server=utf8

init_connect-'SET NAMES utf8'

确认是否更改成功

主要看下面几行

mysql> show variables like '%char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       |#这行
| character_set_connection | utf8                       |#这行
| character_set_database   | utf8                       |#这行
| character_set_filesystem | binary                     |
| character_set_results    | utf8                       |
| character_set_server     | utf8                       |#这行
| character_set_system     | utf8                       |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

字段选择

kettle入门杂乱笔记_第3张图片

删除时直接不选择即可。

流查询

kettle入门杂乱笔记_第4张图片

MySQL安装完毕后无法连接到sqlyog 这时候需要在cmd里面重新修改你的数据库密码

alter user 'root'@'localhost' identified with mysql_native_password by '新密码';

作业

作业的线上面是锁的时候。这是一个无条件的跳跃。这意味着,无论‘转换’的执行结果如何,下一个作业条目都将始终被执行。

作业的线上面是√时,意味着当执行无误时,执行下一条语句

作业线上未×时,即出现异常时,下一条语句执行。

作业中发送邮件的规矩。
注意 下面的用户验证也是要勾选的,我没有选择是因为保护自己的隐私,然后邮箱的密码为第三方邮箱验证密码。
kettle入门杂乱笔记_第5张图片
密码获取方法,登陆自己的邮箱后
kettle入门杂乱笔记_第6张图片
kettle入门杂乱笔记_第7张图片
后面再跟着他的提示获取就好了,记住这里没法查看,所以获取后建议保存下来,不然下次就得重新获取了。假如你要下载foxMail这类第三方邮箱验证密码的密码也是这个。验证过后这个你的邮箱才能正常发出去,确定对方收到,否则回有极大可能收不到信息。

数据抽取

数据抽取,是指从源数据源系统抽取目的数据源系统需要的数据,这里的源数据源就是数据输入的各种类型的数据库(一般是关系数据库),目的数据源就是数据输出的数据库。
数据抽取又分为全量抽取增量抽取

全量抽取

类似于数据迁移或数据复制,它将数据源中的表或视图的数据原封不动的从数 据库中抽取出来,并转换成自己的ETL 工具可以识别的格式。

全量抽取比较简单。

别考虑就是这么简单

kettle入门杂乱笔记_第8张图片

增量抽取
增量抽取,只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL 使用过程中,增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获方法一般有两点要求:准确性,能够将业务系统中的变化数据按一定的频率准确地捕获到;性能,不能对业务系统造成太大的压力,影响现有业务。

增量抽取更常用、更重要、更复杂,所以重点详细介绍

增量数据抽取常用的捕获变化数据的方法
1.触发器方式(又称快照式)(会降低源数据库的性能,所以用户一般不会同意滴)

介绍

在要抽取的表上建立需要的触发器,一般要建立插入、修改、删除三个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的数据写入一个临时表,抽取线程从临时表中抽取数据,临时表中抽取过的数据被标记或删除

优点
  数据抽取的性能高,ETL 加载规则简单,速度快,不需要修改业务系统表结构,可以实现数据的递增加载。
  缺点
  要求业务表建立触发器,对业务系统有一定的影响,容易对源数据库构成威胁。(会降低源数据库的性能,所以用户一般不会同意滴)

2.时间戳方式(一般比较常用,好用)

它是一种基于快照比较的变化数据捕获方式,在源表上增加一个时间戳字段,系统中更新修改表数据的时候,同时修改时间戳字段的值。当进行数据抽取时,通过比较上次抽取时间与时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新,即表的其它字段的数据发生改变时,自动更新时间戳字段的值。有的数据库不支持时间戳的自动更新,这就要求业务系统在更新业务数据时,手工更新时间戳字段。

优点
  同触发器方式一样,时间戳方式的性能也比较好,ETL 系统设计清晰,源数据抽取相对清楚简单,可以实现数据的递增加载。
缺点
时间戳维护需要由业务系统完成,对业务系统也有很大的倾入性(加入额外的时间戳字段),特别是对不支持时间戳的自动更新的数据库,还要求业务系统进行额外的更新时间戳操作;另外,无法捕获对时间戳以前数据的delete和update 操作,在数据准确性上受到了一定的限制。

3.全表删除插入方式

介绍每次ETL 操作均删除目标表数据,由ETL 全新加载数据。

优点ETL 加载规则简单,速度快。
缺点
 对于维表加外键不适应,当业务系统产生删除数据操作时,综合数据库将不会记录到所删除的历史数据,不可以实现数据的递增加载;同时对于目标表所建立的关联关系,需要重新进行创建。

4.全表比对方式(性能较差)

全表比对的方式是ETL 工具事先为要抽取的表建立一个结构类似的临时表,该临时表记录源表主键以及根据所有字段的数据计算出来,每次进行数据抽取时,对源表和临时表进行的比对,如有不同,进行Update 操作,如目标表没有存在该主键值,表示该记录还没有,即进行Insert 操作。

优点
  对已有系统表结构不产生影响,不需要修改业务操作程序,所有抽取规则由ETL完成,管理维护统一,可以实现数据的递增加载,没有风险。
缺点
  ETL 比对较复杂,设计较为复杂,速度较慢。与触发器和时间戳方式中的主动通知不同,全表比对方式是被动的进行全表数据的比对,性能较差。当表中没有主键或唯一列且含有重复记录时,全表比对方式的准确性较差。

5.日志表方式(较为麻烦)

在业务系统中添加系统日志表,当业务数据发生变化时,更新维护日志表内容,当作ETL 加载时,通过读日志表数据决定加载那些数据及如何加载。
优点
  不需要修改业务系统表结构,源数据抽取清楚,速度较快。可以实现数据的递增加载。
缺点
  日志表维护需要由业务系统完成,需要对业务系统业务操作程序作修改,记录日志信息。日志表维护较为麻烦,对原有系统有较大影响。工作量较大,改动较大,有一定风险。

当kettle 和MySQL的连接失败时,出现连接问题失败的 原因可能是jar包太多,导致失态分布(不记得是不是这个词了,哈哈哈反正就是jar包过多)。留一两个合适版本的jar包就行。
载。

你可能感兴趣的:(大数据,数据库,java,开发语言)