Kettle实现 HDFS文件解析同步到SQLServer数据库(ETL 包括:时间格式化、IP校验、字段拼接)
目录一、需求及总体设计1、设计完成后的作业2、设计完成后的转换3、处理流程概述二、具体处理流程1、作业1、JS下载文件到本地2、转换(具体处理见下面)3、JS重命名4、Shell组件5、删除多个文件2、转换2.1文本文件输入2.2字段选择2.3表输入2.4JS脚本校验IP2.5过滤记录2.6阻塞数据直到步骤完成2.7调用存储过程一、需求及总体设计需求:将HDFS中的文件解析完成后将数据写入SQLS