Kettle解析HDFS文件进行----字段拼接、字符的替换、IP校验

目录

1、字段的拼接

2、字段串替换

3、IP校验 

---

1、字段的拼接

字段的拼接使用 JS 脚本实现，JS脚本在 Kettle 中使用起来很是方便，目前我使用 JS 实现过 IP 校验、字段拼接、文件移动。

​var a = Id + "-" + Type
var Type = a

 

2、字段串替换

 此处我是简单的使用，数据清洗不是很复杂没有使用到正则表达式。

3、IP校验 

1、IP校验的JS代码

var reg = /^((\d)|([1-9]\d)|(1\d{2})|((2[0-4]\d)|(25[0-5])))(\.((\d)|([1-9]\d)|(1\d{2})|((2[0-4]\d)|(25[0-5])))){3}$/;
if (reg.test(IP) == true){
	var flag = 1
}else {
	var flag = 2
}

2、JavaScript 函数 组件 

HDFS 文件获取后，选择 JS脚本组件，在 Input fields  中可以看到接收到的字段。 

3、过滤记录 

使用 过滤记录 组件过滤掉不合法的IP

过滤记录的使用说明，过滤记录 组件的使用在  业务分离是很好用的，尤其是对正则匹配、字段的过滤。