还在为文本数据处理犯愁吗

本文章转载于搜狗测试

服务端测试里面很重要的一项内容是性能测试。几乎每一个服务我们都要通过测试手段去评估它的性能指标:能支持多少用户同时访问、服务端响应时间、服务端资源占用等等。一般而言我们是通过性能测试的软件,比如LoadRunner,通过模拟多个客户端同时向服务端发送请求来进行测试的。而在构造这些请求时,通常会需要做一些文本处理的工作。

一个实际的场景:某天开发找到小编说需要对某个图片搜索的接口做压力测试。然后开发告诉我:“这有一个线上搜索请求的log数据,大概一百万条,100M左右,你在里面抽取个一两万条用作压测数据吧。” log数据的结构大概是这样:

我们需要做的是把第一列的部分数据抽取出来单独做成一个文件。

按说处理的方法很多,比如最容易想到的,Python写个脚本,读入文件,处理之后输出即可。但其实这并不是最好的解决方案。今天就和大家介绍一款服务端文本处理的强大工具——awk

一、什么是awk

AWK是一种优良的文本处理工具。它不仅是 Linux 中也是任何环境中现有的功能最强大的数据处理引擎之一。AWK 提供了极其强大的功能:可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。它具备了一个完整的语言所应具有的几乎所有精美特性。

说白了awk就是一个强大的文本处理工具。究竟怎么个强大法呢?我们看看文章开头提到的问题。如果该问题用awk去处理的话应该是怎样的呢?

awk'{print $1 > "result.txt"}'searchIsHit_20170213.txt

是的,就只需要这一行代码即可搞定,应该是比写个小程序去处理文本简单多了。这行代码的作用是把searchIsHit_20170213.txt文件中的第一列输出到result.txt文件中。

二、awk基本用法

我们可以把awk的语法简单总结为:

awk'{pattern + action}'

# 或者这样

awk'pattern {action}'

其中 pattern 表示 AWK 在数据中查找的内容,而 action 是在找到匹配内容时所执行的一系列命令。

以下就列举一些小编在平时测试工作中会用到的常见用法。

1.截取文件中固定的行(列)

如果你需要截取文件中固定的列,那么就用一行代码即可:

awk'{print $n > "ResultFile"}'SourceFile

其中$n表示文件的第n列,从1开始。n=0表示该文件的所有列。

>是重定向输出符号,表示将内容输出到某个固定的文件中。

如果需要操作该文件的前XX行或者固定的某几行,该怎么做呢?awk提供了一个内置的参数:NR,表示已经读入的记录数(就是行数)。因此如果我们需要截取前10000行的内容,这样既可:

awk'NR<=10000 {print $1 > "result.txt"}'searchIsHit_20170213.txt

同样,我们截取第1000到2000行之间的数据时,可以这样搞:

awk'NR>1000&&NR<=2000 {print $1 > "result.txt"}'searchIsHit_20170213.txt

awk可以通过 -F 参数指定分割符。在上面的情况中,我们没有指定,默认是以空格作为分隔符。如果某个文件中的分隔符不是空格,比如“:”,这时候-F参数就派上用场了:

awk -F":"'{print $1 > "result.txt"}'searchIsHit_20170213.txt

2.进行匹配查找

实际的需求中,我们通常需要在log文件中筛选出包含某些关键字的行。这时候就需要用到匹配查找了。匹配查找中,~表示模式开始,/ /中间是待查找的模式。举个例子,在某个log文件中,需要找出所有包含”JudgingTime”字段的行,那么awk可以这样做:

awk'$0~/JudgingTime/ {print $0 > "result.txt"}'test.log

除此之外,awk比较强大的地方在于它支持正则表达式的匹配。

举个例子,在某个文件中需要筛选出第一列是字母的所有行,可以这样做:

awk'$1~/([a-zA-Z]+)/ {print $0 > "result.txt"}'test.log

只要把需要过滤的正则表达式写到模式里面即可。

3.awk内置属性和函数

awk内置了一些常用的属性和函数,便于我们去调用实现更强大的功能。一些常见的函数如下:

属性/函数含义

length长度

IGNORECASE忽略大小写

split(string,array)将指定的字符串切割成数组

substr(s,p)返回字符串s中从第p个字符开始的后缀部分

substr(s,p,n)返回字符串s中从第p个字符开始长度为n的后缀部分

match(a,b)返回b在a中出现的位置,如果不包含则返回0

tolower(s)/toupper(s)将字符串转为小写/大写

看几个例子:

i.匹配length长度小于某个值的所有行:

awk'length < 20 {print $0}'test.log

ii.忽略大小写匹配:

awk'{IGNORECASE=1} $0~/abc/ {print $0}'test.log

上述命令可以把包含abc(大小写均可)的行输出出来。

iii.截取子串

awk'length < 20 {print substr($0,3,2)}'test.log

如果log中某行长度小于20,上述命令可将该行从第三个字符开始长度为2的子串输出出来。

3.结语

awk是一个功能非常强大的文本处理工具。小编从自己做压力测试准备测试数据的角度出发,仅向大家说明了最简单最基础的知识,涵盖平时测试时会用到的一些方法。关于awk的高级用法,各位读者大神们可以自行研究。相信这肯定是一个可以提高工作效(逼)率(格)的工具。

你可能感兴趣的:(还在为文本数据处理犯愁吗)