python大数据之MySQL学习总结——day06_kettle的使用

Kettle

1.安装环境

先安装java环境

打开斌哥提供资料中win或者mac软件安装,找到jdk软件

直接双击jdk-8u241-windows-x64.exe进行安装

建议: 安装过程中修改安装路径到software目录

安装jdk8

配置环境变量

再解压kettle软件

打开斌哥提供资料中win或者mac软件安装,找到pdi软件压缩包,直接解压即可

建议: 解压软件的路径是software目录下

启动

注意:

自动去环境变量中找JAVA_HOME对应的jdk路径

所以,如果前面环境变量没有配置或者配置错误启动失败!!!

2.kettle入门

简介

ETL: Extract-Transform-Load 对数据进行抽取,转换,装载到数据仓库的过程  
ELT: Extract-Load-Transform 对数据进行抽取,装载到数据仓库,最后再转换的过程  

数据仓库: 面向专业的分析人员,主要对其中的数据进行查询分析操作
数据库: 面向操作型的用户,主要对其中的数据进行增删改查

kettle: kettle是国外开源的ETL工具,现在已经更名为PDI。

kettle简介:
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装
Kettle中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出
Kettle允许管理来自不同数据库的数据，提供一个图形化的用户环境来描述想做什么，无需关心

步骤

第一步: 新建转换
第二步: 构建流图
第三步: 配置组件
第四步: 保存运行

3.txt转换excel[练习]

第一步: 新建转换

第二步: 构建流图

第三步: 配置组件

先配置输入组件

注意:预览记录有数据说明从txt到kettle的流程已经完成

再配置输出组件

第四步: 保存运行

保存: ctrl+s

4.mysql连接

①配置mysql环境

1.先创建数据库kettle_demo

create database kettle_demo;

2.把mysql连接驱动jar包,复制到lib目录==下(压缩包中已经提供,无需操作)

3.需要把以下内容复制到simple-jndi目录下的jdbc.properties文件中,*修改成自己的数据库,用户名,密码…=

MYSQL_DB/type=javax.sql.DataSource
MYSQL_DB/driver=com.mysql.cj.jdbc.Driver
MYSQL_DB/url=jdbc:mysql://localhost:3306/kettle_demo?useUnicode=true&characterEncoding=utf8&useSSL=false&serverTimezone=GMT
MYSQL_DB/user=root
MYSQL_DB/password=root

②kettle连接mysql

注意: 如果之前没有新建过转换,此处的数据库连接是灰色的,不能使用,那就需要建一个转换

注意: JNDI名称就是jdbc.properties文件中统一的: MYSQL_DB

③共享mysql连接

如果不共享,以后每次连接mysql都需要重复做连接操作,共享后,以后直接使用即可

注意: 创建mysql连接后,先ctrl+s保存,再去共享

如何验证共享成功: DB连接中mysql连接名称加粗

5.excel转换mysql[练习]

第一步: 新建转换

第二步: 构建流图

第三步: 配置组件

先配置输入组件

再配置输出组件

第四步: 保存运行

ctrl+s:先保存 再按照下图运行

6.1mysql表间复制

第一步: 新建转换

第二步: 构建流图

第三步: 配置组件

先配置输入组件

再配置输出组件

第四步: 保存运行

ctrl+s:先保存 再按照下图运行

6.2拓展sql语句复制表

# 快速复制表
# 方式1:
# 复制表结构
create table copy1_user like out_user;
# 插入数据
insert into copy1_user
select * from out_user;


# 方式2:
# 一步到位
create table copy2_user
select * from out_user;

7.插入更新组件

第一步: 新建转换

第二步: 构建流图

第三步: 配置组件

先配置输入组件

再配置输出组件

第四步: 保存运行

ctrl+s:先保存 再按照下图运行

第五步: 测试更新

1.在原表中修改数据

2.重新运行kettle

3.查看复制表中数据效果: 没有追加插入而是自动更新了

8.mysql转换excel[练习]

第一步: 新建转换

第二步: 构建流图

注意:

1.excel输出表可以自定义改名,最好见名知意如: excel输出_女 excel输出_男

2.switch/case组件和excel输出表中间连接选择: create a new target case for this step

第三步: 配置组件

配置输入组件

配置switch/case组件

配置输出组件

只演示男组件,其他都一样

第四步: 保存运行

ctrl+s:先保存 再按照下图运行

9.sql脚本固定条件

10.sql脚本设置参数

可以直接运行sql语句,如果需要根据条件删除,可以传参

11.job作业[练习]

作业和转换步骤唯一不同就是第一步变成了新建作业

第一步: 新建作业

第二步: 构建流图

第三步: 配置组件

配置转换组件

配置start组件

注意: 如果设置完后找不到确定按钮,需要使用鼠标手动向下拉

第四步: 保存运行

ctrl+s 先保存,再运行

第五步: 退出