KETTLE将txt文本文件加载入库

KETTLE将txt文本数据加载入库

例如我要将D:\TEST1.txt文件入库到ADM.TEST1的表中

1. 新建转换

1.1打开【文件】->【新建】->【转换】

1.2转换中添加【文本文件输入】和【表输出】步骤

在左侧【核心对象】中搜索【文本文件输入】，【表输出】分别将其拉入到转换中

然后连接二者

1.3设置步骤参数

1.3.1设置转换调用参数

右键点击转换空白处，打开【转换设置】->【命名参数】

在参数中配置 ：文件路径参数，文件名称参数

例如

1.3.2 配置文本文件输入步骤

1.3.2.1文件读取路径配置

配置如下，使用转换中的参数作为变量进行配置，然后点击【增加】

如果在转换中设置了默认值，并且文件就在默认值路径，此时可以测试配置是否正确

测试配置是否正确，点击下方【显示文件内容】，提示选择显示多少行，点击【确定】，如果显示成功即配置正确

1.3.2.2内容配置

文件类型：CSV

分隔符：本次使用的是英文逗号【,】（根据要加载的文本文件中分隔符配置）

头部：如果选中，则表示文件第一行不是数据，不会将第一行入库

没有空行：如果选中，则文件中的空行将不会加载入库

格式：根据环境选择

编码格式：UTF-8

1.3.2.3 配置字段

如果转换的参数有默认值，KETTLE可以找到默认文件，将文件首行的字段名称获取进来

例如，要加载的文件为：

内容中配置的分隔符为【,】（英文逗号）

点击【获取字段】，提示预览行数，点击【确定】，结果如下

1.4表输入配置

数据库连接：点击向下箭头，找到要连接的数据库，如果没有，点击【新建】进行配置

目标表：数据库连接配置无误后，点击【浏览】，找到表

裁剪表：选中后，加载数据之前会将表数据清空，如不选则是追加，重跑时不会清理表数据，会一直追加

指定数据库字段：选中后，可在【数据库字段】中获取数据库字段

数据库字段：如果勾选了【指定数据库字段】，可以点击【获取字段】进行获取

至此配置完成，可以调用转换进行入库

注意点：

1.【文本文件输入】中分隔符要与文件保持一致

2.【文本文件输入】中勾选【头部】会默认首行不是数据，如果首行是数据，则第一条不会入库

3.【表输入】中勾选【裁剪表】，会在每次入库前清空表数据，如果不选，则为追加方式，重复跑时要注意清理数据，否则会产生重复数据

4.当某些字段不想入库是，【文本文件输入】步骤仍配置txt的全字段，可在【表输入】的【数据库字段】中删除不想要的字段