【Kettle实战】字符串处理及网络请求JSON格式处理

经过大量的kettle操作实践,我们会渐渐掌握一些技巧,大大减轻清洗的工作量。比如在哪里

处理字符串更方便,在哪儿处理更合理都是一个取舍问题。

 字符串拼接

  • MySQL中使用concat(字段1,字段2),但是如果“字段2”为NULL,结果就是NULL了,可能会不是想要的结果,这是又有了ifnull(字段2,'')给个默认值吧
  • 计算时如果还包含特殊字符,还需要用到replace(字段2,"$",'')
  • 判断是否包含使用instr(字段2,"$")>0,具体值要看位置。

【Kettle实战】字符串处理及网络请求JSON格式处理_第1张图片

网络请求配置

【Kettle实战】字符串处理及网络请求JSON格式处理_第2张图片

配置URL参数从上一步取值字段 

【Kettle实战】字符串处理及网络请求JSON格式处理_第3张图片

JavaScript步骤处理Json

【Kettle实战】字符串处理及网络请求JSON格式处理_第4张图片

字符分割-拆分字段

 【Kettle实战】字符串处理及网络请求JSON格式处理_第5张图片

你可能感兴趣的:(数据仓库,软件研发,大数据,etl)