Kettle-数据的迁移和装载

目录

一.表输出

        1.描述

        2.建立转换添加控件

        3.配置控件

        4.保存运行

二.插入更新

        1.描述

        2.建立转换并添加控件

        3.配置控件

        4.保存运行

三.Excel输出

        1.描述

         2.建立转换并添加控件

         3.配置控件

        4.保存运行

四.文本文件输出

        1.描述

        2.建立转换并添加控件

        3.配置控件 

        4.保存运行

五.SQL文件输出

        1.描述

        2.新建转换并添加控件

        3.配置控件

        4.保存运行


一.表输出

        1.描述

                表输出是将数据装载至数据库的表中。

                案例:为了方便使用数据库查询和统计学生的考试成绩,需要对“2020年1月月考1班数 

           学成绩.xls”文件的数据,使用表输出组件,迁移和装载至MySQL中“kettle”数据库。

        2.建立转换添加控件

Kettle-数据的迁移和装载_第1张图片

        3.配置控件

                Excel输入控件:点击进入Excel输入控件,点击浏览,找到 2020年1月月考1班数

         学成绩.xls”文件,并点击增加,具体如下。

     Kettle-数据的迁移和装载_第2张图片

                点击工作表,获取工作表名称,并添加工作表,具体如下

     Kettle-数据的迁移和装载_第3张图片

                浏览数据

      Kettle-数据的迁移和装载_第4张图片 

                表输出控件:设置有关参数,将“2020年1月月考1班数学成绩.xls”文件中的数据输出至

          MySQL的“kettle”数据库中的“2020年1月月考数学成绩”数据表.具体如下。

     Kettle-数据的迁移和装载_第5张图片 

                注:这里的目标表不用提前建立,可以在目标表中输入名字,然后点击下方的SQL

按钮,填写SQL语句去建立。

        4.保存运行

Kettle-数据的迁移和装载_第6张图片

Kettle-数据的迁移和装载_第7张图片                              

二.插入更新

        1.描述

                插入/更新是对数据库中表的数据进行插入或更新操作。

                案例:为了查询1班、2班学生考试分数的排名情况,需要对“2020年1月月考2班数学成

        绩.xls”文件中的数据,使用插入并更新组件,迁移并装载至MySQL的“kettle”数据库中的

        “2020年1月月考数学成绩”表。

        2.建立转换并添加控件

Kettle-数据的迁移和装载_第8张图片

        3.配置控件

                Excel输入:在上面已经演示过,这里只需将文件换一下,重复上面配置过程就行。

                插入/更新:点击进入插入/更新控件,具体配置如下图。

  Kettle-数据的迁移和装载_第9张图片 

                点击下方SQL按钮,填写如下语句,它会自己生成。

Kettle-数据的迁移和装载_第10张图片

     

          4.保存运行

Kettle-数据的迁移和装载_第11张图片

        数据库表中,从26号开始就会变成2班学生,具体如下

Kettle-数据的迁移和装载_第12张图片

三.Excel输出

        1.描述

                Excel输出是将数据装载至Excel文件的工作表中。

                案例:为了统计分析联考的考试成绩,需要对“2020年1月联考成绩.csv”文件中的数

         据,使用Excel输出组件,迁移和装载至Excel文件中的工作表。 

         2.建立转换并添加控件

Kettle-数据的迁移和装载_第13张图片

         3.配置控件

                csv文件输入控件:双击进入配置界面,点击浏览找到需要处理的csv文件,添加

        文件后,点击下方获取字段,自动添加处理的字段,具体如下。

           Kettle-数据的迁移和装载_第14张图片

                点击预览数据

Kettle-数据的迁移和装载_第15张图片

                Excel输出控件:点击进入控件,点击浏览,选择自己要保存的位置,并将保存文件起名

        为2020年1月联考成绩.xls,具体如下。

                    Kettle-数据的迁移和装载_第16张图片

                点击格式,进行如下配置

Kettle-数据的迁移和装载_第17张图片

                点击字段,进行如下配置

Kettle-数据的迁移和装载_第18张图片

        4.保存运行

Kettle-数据的迁移和装载_第19张图片

Kettle-数据的迁移和装载_第20张图片

四.文本文件输出

        1.描述

                文本文件输出是将数据装载到文本文件中。

                案例:为了备份数据,需要对MySQL的“kettle”数据库“2020年1月月考数学成绩”表中

         数据,使用文本文件输出组件,迁移和装载至“2020年1月月考数学成绩.txt”文件。

        2.建立转换并添加控件

Kettle-数据的迁移和装载_第21张图片

        3.配置控件 

                表输入:双击进入表输入控件,连接好数据库添加SQL语句,具体如下。

Kettle-数据的迁移和装载_第22张图片

                文本文件输出:双击进入控件,设置输出文件名称,【文件名】设置为“G:\教材数据文件

          \2020年1月月考数学成绩”,其他参数采用默认值,如图所示。

Kettle-数据的迁移和装载_第23张图片

                点击字段选项,添加字段,具体如下。

Kettle-数据的迁移和装载_第24张图片       

        4.保存运行

Kettle-数据的迁移和装载_第25张图片

五.SQL文件输出

        1.描述

                QL文件是一个包含SQL语句的文本文件,后缀用“.sql”表示。SQL文件输出是将数据生成

          可执行的SQL语句,并装载至后缀为“.sql”的文本文件中。

                案例:为了使用SQL语句生成数据,需要对MySQL的“demodb”数据库“2020年1月月考

          数学成绩”表中的数据,使用SQL文件输出组件,迁移和装载至“2020年1月_月考数学

          绩.sql” 文件。

        2.新建转换并添加控件

Kettle-数据的迁移和装载_第26张图片

        3.配置控件

                表输入控件:双击进入表输入控件,编辑Sql语句,具体如下。

Kettle-数据的迁移和装载_第27张图片

                浏览数据

Kettle-数据的迁移和装载_第28张图片               

                SQL文件输出控件 : 双击进入控件,设置目标表。【目标表】设置为“2020年1月_月考

          数学成绩”。设置输出文件名称。【文件名】设置为“G:\教材数据文件\2020年1月_月考数学

         成绩”,其他参数采用默认值,此时完成【一般】选项卡的参数设置,如图所示。此处建议读

         者最好指定输出文件的目录和名称,如果没有指定目录,那么结果文件将输出到系统当前的 

         目中。具体如下。

Kettle-数据的迁移和装载_第29张图片

                点击进入内容选项,进行如下配置,具体如下。

Kettle-数据的迁移和装载_第30张图片

       

        4.保存运行

Kettle-数据的迁移和装载_第31张图片

        输出文件的内容

Kettle-数据的迁移和装载_第32张图片

你可能感兴趣的:(etl,etl,大数据,mysql)