Kettle: 读取excel或者csv文件中的数据到mysql中

工作中遇到一个需求,源数据是从第三方平台导出的csv文件,现要将数据同步到库中,下面是通过kettle转换的具体实践:

csv文件内容,数据大概有10w多条,内容如下,excel打开有乱码:

用文本工具打开没问题:涉密项目,关键信息打了码

Kettle: 读取excel或者csv文件中的数据到mysql中_第1张图片

开始转换数据

1、先新建转换,我这里命名为trans_test

Kettle: 读取excel或者csv文件中的数据到mysql中_第2张图片

2、在DB连接上新建库,建完后如右侧所示(因为读取csv文件上的是要存到mysql库中,所以这里先建DB连接信息)

Kettle: 读取excel或者csv文件中的数据到mysql中_第3张图片Kettle: 读取excel或者csv文件中的数据到mysql中_第4张图片

3、然后切换tab页到核心对象,按照下图所示,拖入如下控件到工作台中

Kettle: 读取excel或者csv文件中的数据到mysql中_第5张图片

3.1 CSV文件输入,先选择csv文件,然后点获取字段可以将csv表头都读出来(类型可以根据实际情况调整)

Kettle: 读取excel或者csv文件中的数据到mysql中_第6张图片

3.2 插入/更新

3.3 写日志,这个就拉个控件出来,啥都不动,意思是把执行步骤给我打出来,类似java中的log4j,打个日志而已

运行前先需要保存这个转换文件,保存后点执行

Kettle: 读取excel或者csv文件中的数据到mysql中_第7张图片

可以看执行结果,接下来的步骤我不想细说了,有兴趣的开发同学可以试试,有问题欢迎给我留言

Kettle: 读取excel或者csv文件中的数据到mysql中_第8张图片

 

 

你可能感兴趣的:(ETL,数据库)