阿里云SLS日志服务之数据导入与加工处理

一、背景

采集vm虚拟机上的Log日志文本，如果需要经过特殊的加工处理，在本文主要讲述如何在SLS把kafka采集上来的数据经导入并加工后存储。

二、数据流转图

三、数据导入

• 服务地址：填写kafka集群的地址
• 数据格式：json字符串（这是因为我们每行的数据格式是json格式存储在本地）
  
  其他配置：
  153/154/155三个Kafka集群节点

{"config.vpc.instance_port.v3":"9092","config.vpc.instance_port.v2":"9092","config.vpc.vpc_id.v1":"vpc-bp102du3yi8x2100kdsxp","config.vpc.instance_ip.v3":"10.xx.xx.155","config.vpc.instance_ip.v2":"10.xx.xx.154","config.vpc.instance_ip.v1":"10.xx.xx.153","group.id":"frontlog","config.vpc.vpc_id.v2":"vpc-bp102du3yi8x2100kdsxp","config.vpc.vpc_id.v3":"vpc-bp102du3yi8x2100kdsxp","config.vpc.instance_port.v1":"9092"}

• 丰富的报表
  

四、加工处理

• 下面看一看加工的细节：

对原始的value字段进行加工，这里使用的是grok语法。
配置了两个解析，第二个解析是在第一个解析的基础上，进行二次进一步解析。
上一步解析出字段http_user_agent，
第二个解析，把http_user_agent进一步解析出字段appName和appVersion

由此可见，加工还是比较方便且灵活的。

• 加工后的存储目标：

如此，kafka采集上来的Log数据，先经过了导入存储到某个索引，后又加工处理存储到另外一个索引。

所以说，一份数据保存了两份，一份是原始数据，另外一份是加工后的数据。

毫无疑问，会加大你的存储成本。

• 加工情况的总体预览：

五、总结

到此，你应该明白，如果不用复杂的加工处理，不建议你使用本文提及的方案。
直接在sls配置Logtail即可。
本方案把采集的步骤拉长不说， 光是存储成本就翻一番。