大数据预处理工具的综合使用

申明： 未经许可，禁止以任何形式转载，若要引用，请标注链接地址
全文共计1708字，阅读大概需要3分钟

一、任务描述

本实验任务主要完成基于ubuntu环境的大数据预处理工具的综合使用的工作。通过完成本实验任务，要求学生熟练掌握使用大数据预处理工具的综合使用的方法，为后续实验的开展奠定ETL平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。

二、任务目标

1、掌握大数据预处理工具的综合使用

三、任务环境

Ubuntu(三台节点:mater,slave1,slave2)、Java1.8、Kettle7.1

四、任务分析

Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。
  Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。
  Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。

五、 任务实施

步骤1、环境准备

在节点master上执行命令【start-all.sh】。如图1所示。

图1 启动Hadoop
  启动成功后，节点出现以下进程信息。如图2所示。

图2 master节点进程
  启动kettle。如图3所示

图3 启动kettle
  修改语言，Tools-&Options-&Look&Feel设置，设置完重启即可。如图4所示

图4 修改语言

步骤2、创建Transformmations

新建一个”Transformmations”(双击Transformmations也可)。如图5所示

图5 创建Transformmations
  配置hadoop集群连接并测试。如图6-7所示。

图6 创建集群配置

图7 集群配置及测试
  创建一个文本文件输入步骤，并编辑（双击图表即可）。如图8-11所示。

图8 创建步骤

图9 设置相关内容

图10 设置相关内容

图11 设置相关内容
  创建一个字段选择步骤,按住Shift键，鼠标拖拽“文本文件输入“图标到“字段选择“图标上，产生连线,注意箭头方向。,并编辑（双击图表即可）。如图12所示。

图12 创建步骤并设置
  创建一个剪切字符串步骤,按住Shift键，鼠标拖拽“字段选择“图标到“剪切字符串“图标上，产生连线,注意箭头方向,并编辑（双击图表即可）。如图13所示。

图13 创建步骤并设置相关内容
  创建一个JavaScript代码步骤,按住Shift键，鼠标拖拽“剪切字符串“图标到“JavaScript代码“图标上，产生连线,注意箭头方向,并编辑（双击图表即可）。如图14所示。

图14 创建步骤并设置相关内容
  创建一个过滤记录步骤,按住Shift键，鼠标拖拽“JavaScript代码“图标到“过滤记录“图标上，产生连线,注意箭头方向,并编辑（双击图表即可）。如图15所示。

图15 创建步骤并设置相关内容
  创建一个Hadoop File Output步骤,按住Shift键，鼠标拖拽“过滤记录“图标到“Hadoop File Output“图标上，产生连线,注意箭头方向,并编辑（双击图表即可）。如图16-19所示。

图16 创建步骤

图17 设置相关内容

图18 设置相关内容

图19 设置相关内容
  创建一个文本文件输出步骤,按住Shift键，鼠标拖拽“过滤记录“图标到“文本文件输出“图标上，产生连线,注意箭头方向,并编辑（双击图表即可）。如图20-23所示。

图20 创建步骤

图21 设置相关内容

图22 设置相关内容

图23 设置相关内容

步骤3、运行任务

运行，清洗好的数据，批量导入到HDFS系统。如图24-25所示。

图24 运行任务

图25 保存任务
  查看运行结果。如图26所示。

图26 查看运行结果
  重新打开一个终端,检验记录是否导入。如图27-28所示。

图27 查看数据

图28 查看数据

♥ 知识链接
Hop
一个Hop 代表两个步骤之间的一个或者多个数据流。一个Hop 总是代表着一个步骤的输出流和一个步骤的输入流。

♥ 温馨提示
输入类步骤用来从外部获取数据，可以获取数据的数据源包括，文本文件（txt，csv，xml，json）数据库、 Excel 文件等桌面文件，自定义的数据等。对特殊数据源和应用需求可以自定义输入插件。