wrk 使用记录及踩过的坑

1. 1.  wrk是什么？
      https://github.com/wg/wrk
      
      wrk 是一个非常小巧高效的开源性能测试工具，支持lua脚本来创建复杂的测试场景。wrk 的一个很好的特性就是能用很少的线程压出很大的并发量， 原因是它使用了一些操作系统特定的高性能 I/O 机制, 比如 select, epoll, kqueue 等。
      PS， lua 脚本的介绍 （Lua 是一种轻量小巧的脚本语言，用标准C语言编写并以源代码形式开放， 其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能），换一句话说，如果大家玩过各类大型MMORPG，大型多人角色扮演在线游戏，有些游戏贩子会叫卖的适用于 DPS 职业的输出宏，一部分宏，就是用 lua 写的，对于玩过游戏的人来说并不陌生。
      
      
   2. 如何使用 wrk ？
      a. 首先，从 github 下载源码。
      git clone https://github.com/wg/wrk.git
      需要补充说明的是，wrk 只能运行在 Unix 类系统上，所以大家可以用 MAC 或者 测试环境中的虚拟机来操作。
      下载完成后，可以看到一个目录，wrk，进入该目录。
      b. wrk 是用 C 写的一个小巧的工具，因此可以通过 make 进行编译，编译成功以后得到一个可执行文件 wrk
          编译 wrk 的关机是系统已经安装 openssl 库，如果系统没有默认安装 openssl, 可以自行安装，参考 sudo yum install openssl-devel 大部分操作系统应该是已经按照好了的
      
      c. 执行可执行文件，在 terminal  中执行 ./wrk --help 可以查看 wrk 的用法
      

      xieludeMacBook-Pro:wrk xielu$ ./wrk --help

      Usage: wrk                            

        Options:                                            

          -c, --connections   Connections to keep open   

          -d, --duration      Duration of test           

          -t, --threads       Number of threads to use   

                                                            

          -s, --script        Load Lua script file       

          -H, --header        Add header to request      

              --latency          Print latency statistics   

              --timeout       Socket/request timeout     

          -v, --version          Print version details      

                                                            

        Numeric arguments may include a SI unit (1k, 1M, 1G)

        Time arguments may include a time unit (2s, 2m, 2h)

      
      简单做一下说明， -c 表示为保持连接状态的连接数， -d 表示本次压力测试的执行时间，单位可以为60s, 1m, 1h, -t 表示执行操作的线程数，-s 表示带lua脚本执行，复杂测试场景，都是依赖 s 后的脚本编写完成后执行的。
      --latency 延迟时间数据统计。

   3. lua 脚本编写。
      cd scripts ，可以看到很多 wrk 的脚本，使用 post.lua 作为例子。
      原版的 post.lua 内容：
      

      -- example HTTP POST script which demonstrates setting the
      -- HTTP method, body, and adding a header

      wrk.method = "POST"
      wrk.body = "foo=bar&baz=quux"
      wrk.headers["Content-Type"] = "application/x-www-form-urlencoded"

      
      做过 http 接口测试的同学应该很熟悉，这里描述了一个非常简单的 POST 的请求。
      比如，我要对一个接口进行压力测试  http://10.0.5.52:17070/tbs/ip/search?ip=218.17.158.4&async=1 ，其中 ip= 后的值是可变参数，那么我可以把 post.lua 脚本改写成这样，

       

      wrk.method = "GET"
      wrk.body = ""
      wrk.headers["Content-Type"] = "application/x-www-form-urlencoded"

      request = function()
      ip = tostring(math.random(1, 255)).."."..tostring(math.random(1, 255)).."."..tostring(math.random(1, 255)).."."..tostring(math.random(1, 255))
      path = "/tbs/ip/search?async=1&ip=" .. ip
      return wrk.format(nil, path)
      end
      这一段描述了非常简单的一个 function, 把 ip 这个变量，用4个 1到255之间的随机数拼成字符串后，作为接口 path 的一部分，发送 GET 请求
      tostring 是把 int 转换为 string，.. 可以理解为在 java 中对字符串使用 “+” 的操作来连接。
      另存为 test.lua ，并且把这个脚本放在与 wrk 可执行文件平级的位置。

   4. 执行测试。
      

      xieludeMacBook-Pro:wrk xielu$ ./wrk -t200 -c2000 -d60s -s post.lua --latency http://10.0.5.52:17070
      Running 1m test @ http://10.0.5.52:17070
      200 threads and 2000 connections
      Thread Stats Avg Stdev Max +/- Stdev
      Latency 807.86ms 134.63ms 1.97s 75.92%
      Req/Sec 6.95 6.22 70.00 87.60%
      Latency Distribution
      50% 794.69ms
      75% 885.46ms
      90% 955.05ms
      99% 1.15s 
      18208 requests in 1.00m, 6.26MB read
      Socket errors: connect 0, read 0, write 0, timeout 1129
      Requests/sec: 302.94
      Transfer/sec: 106.74KB

      
      可以看到，在 60s 内 发送了18208 个请求，接口的响应已经非常慢了，达到1s。

      如果需要同时监控被测服务的负载，可以打开 zabbix 进行监控，获取到的数据更多

   5. 踩过的坑：
      test.lua 文件必须与 wrk 的可执行文件在同一层目录下，否则会报错找不到脚本，然后执行请求只会得到很多 404 的响应……
      wrk 受操作系统的限制，open file 默认为 1024（linux）,256（MACOS），所以大家在操作的时候把这个值设大一些。
      

      xieludeMacBook-Pro:wrk xielu$ ulimit -a

      core file size          (blocks, -c) 0

      data seg size           (kbytes, -d) unlimited

      file size               (blocks, -f) unlimited

      max locked memory       (kbytes, -l) unlimited

      max memory size         (kbytes, -m) unlimited

      open files                      (-n) 4096

      pipe size            (512 bytes, -p) 1

      stack size              (kbytes, -s) 8192

      cpu time               (seconds, -t) unlimited

      max user processes              (-u) 709

      virtual memory          (kbytes, -v) unlimited

      
      可以看到，我本机上的已经修改为 4096。
      如何修改？ 使用 root 用户，执行 ulimit -n 你想要的数字。

   6. 延伸阅读：
      wrk 的工作原理，以及如何执行脚本？ http://www.tuicool.com/articles/IFjIJjU
      lua 怎么写？http://www.runoob.com/lua/lua-tutorial.html
      复杂测试场景参考 http://www.cnblogs.com/rainy-shurun/p/5867946.html
   7. wrk中的pipe line怎么做
      首先，wrk 支持 luaJIT，所以使用wrk 压测过程中要实现pipe line的话，是在scrip脚本中定义的。
      先来了解下 wrk 各个阶段的方法，可以通过自定义同名方法来实现自己想要的功能：
      
      初始化：
      

      function setup(thread)

      在脚本文件中实现setup方法，wrk就会在测试线程已经初始化但还没有启动的时候调用该方法。wrk会为每一个测试线程调用一次setup方法，并传入代表测试线程的对象thread作为参数。setup方法中可操作该thread对象，获取信息、存储信息、甚至关闭该线程。
      这个方法使用的频率较少。
      
      运行时：
      function init(args)
      注意！！pipe line 在这里定义了！！！！！
      先说明，pipe line 中的每个action, 举个栗子，顺序发送请求的话，需要定义一个table, 在table中根据index的顺序定义request.
      这个方法的意思是
      定义两个全局变量 request，respones并初始化为0
      使用wrk 初始化每个请求并作为table的一个元素
      最后把这些请求连接起来，即可

      --request 初始化

      function init(args)

      requests = 0

      responses = 0

      local p = {}

      headers = {["Content-Type"] = "application/json",["accessToken"] = "1"}

      p[1] = wrk.format("POST", "/1",headers,"test=1")

      p[2] = wrk.format("POST", "/2",headers,"test=2")

      p[3] = wrk.format("POST", "/3",headers,"{\"test\":\"3\",\"pageNo\":1,\"pageSize\":2")

      p[4] = wrk.format("POST", "/4",headers,"{\"test\":\"4\",\"pageNo\":1,\"pageSize\":20")

      req = table.concat(p)

      end

      --接收到请求后如何处理

      function response(status, headers, body)

      responses = responses + 1

      if status ~= 200 then

      wrk.thread:stop()

      end

      end

       

      --开始请求

      function request()

      requests = requests + 1

      return req

      end

       

      --delay,这个暂时没用到，放在这里占位子

      function delay()

      end

       

      通过对luaJIT的支持，wrk可以实现强大多变的测试场景，而且对于延迟数据的统计也较为准确（参照物是jmeter）

       

      关于lua脚本的扩展，欢迎参考

      https://github.com/Spillage/wrk-scripts

       

      补充：lua对于转义符 \ 预先做了一层转移，所以如果使用 \转义的话，需要改为\\\

转载于:https://www.cnblogs.com/spillage/p/7476963.html