ab压力测试工具-批量压测脚本

ab(Apache benchmark)是一款常用的压力测试工具。简单易用，ab的命令行一次只能支持一次测试。如果想要批量执行不同的测试方式，并自动对指标进行分析，那么单靠手工一条一条命令运行ab，估计会疯的。so，那么问题来了，批量模式怎么实现。

一、脚本说明                                                                                             

本脚本支持ab大多常用参数，如果你需要更多参数，可以通过修改本脚本，加入你想要的即可。本脚本的特色：

１，批量测试。注意，并不是简单的批量测试，你可以定测测试轮数，间隔时间。

２，阶梯并发增长定制测试，如并发从１００到１０００，每轮测５次等。

３，支持ab的post file模式，你只要在参数-P | --postfile中带上你的数据文件即可。

４，压测完指标分析显示，本shell可以将ab中常用的指示即时分析出来。

５，ab-test-tools.sh 脚本说明：

命令格式：

-N|--count 总请求数，缺省 : 5w

-C|--clients 并发数, 缺省 : 100

-R|--rounds 测试次数, 缺省 : 10 次

-S|-sleeptime 间隔时间, 缺省 : 10 秒

-I|--min 最小并发数,　缺省: 0

-X|--max 最大并发数，缺省: 0

-J|--step 次递增并发数

-T|--runtime 总体运行时间,设置此项时最大请求数为5w

-P|--postfile post数据文件路径

-U|--url 测试地址

二、脚本代码                                                                                              

#!/bin/bash
echo '*==========================================================*'
echo '|  本脚本工具基于ab(Apache benchmark)，请先安装好ab, awk   |'
echo '|  注意：                                                  |'    
echo '|     shell默认最大客户端数为1024                          |'
echo '|     如超出此限制，请使用管理员执行以下命令：             |'
echo '|     ulimit -n 655350                                 |'
echo '*==========================================================*'

function usage() {
    echo '  命令格式：'
    echo '  ab-test-tools.sh'
    echo '      -N|--count 总请求数，缺省 : 5w'
    echo '      -C|--clients 并发数, 缺省 : 100'
    echo '      -R|--rounds 测试次数, 缺省 : 10 次'
    echo '      -S|-sleeptime 间隔时间, 缺省 : 10 秒'
    echo '      -I|--min 最小并发数,　缺省: 0'
    echo '      -X|--max 最大并发数，缺省: 0'
    echo '      -J|--step 次递增并发数'
    echo '      -T|--runtime 总体运行时间,设置此项时最大请求数为5w' 
    echo '      -P|--postfile post数据文件路径'
    echo '      -U|--url 测试地址'
    echo ''
    echo '  测试输出结果*.out文件'

    exit;
}


# 定义默认参数量
# 总请求数
count=50000
# 并发数
clients=100O
# 测试轮数
rounds=10
# 间隔时间
sleeptime=10
# 最小并发数
min=0
# 最大数发数
max=0
# 并发递增数
step=0
# 测试地址
url=''
# 测试限制时间
runtime=0
# 传输数据
postfile=''


ARGS=`getopt -a -o N:C:R:S:I:X:J:U:T:P:h -l count:,client:,round:,sleeptime:,min:,max:,step:,runtime:,postfile:,help -- "$@"`
[ $? -ne 0 ] && usage
eval set -- "${ARGS}" 

while true 
do
    case "$1" in
    -N|--count)
        count="$2"
        shift
        ;;
        
    -C|--client)
        clients="$2"
        shift
        ;;

    -R|--round)
        rounds="$2"
        shift
        ;;

    -S|--sleeptime)
        sleeptime="$2"
        shift
        ;;

    -I|--min)
        min="$2"
        shift
        ;;

    -X|--max)
        max="$2"
        shift
        ;;

    -J|--step)
        step="$2"
        shift
        ;;

    -U|--url)
        url="$2"
        shift
        ;;

    -T|--runtime)
        runtime="$2"
        shift
        ;;

    -P|--postfile)
        postfile="$2"
        shift
        ;;

    -h|--help)
        usage
        ;;

    --)
        shift
        break
        ;;
    esac
shift
done

# 参数检查
if [ x$url = x ]
then
    echo '请输入测试url，非文件/以为结束'
    exit
fi

flag=0
if [ $min != 0 -a $max != 0 ]
then 
    if [ $max -le $min ] 
    then
        echo '最大并发数不能小于最小并发数'
        exit
    fi

    if [ $step -le 0 ]
    then
        echo '并发递增步长不能<=0'
        exit
    fi

    if [ $min -lt $max ]
    then
        flag=1
    fi
fi


# 生成ab命令串
cmd="ab -k -r"

#　数据文件
if [ x$postf != x ]
then
    cmd="$cmd -p $postf"
fi

if [ x$tl != x -a $tl != 0 ]
then 
    max=50000;
    cmd="$cmd -t$tl"
fi
cmd="$cmd -n$count"

echo '-----------------------------';
echo '测试参数';
echo "  总请求数：$count";
echo "  并发数：$clients";
echo "  重复次数：$rounds 次";
echo "  间隔时间：$sleeptime 秒";
echo "  测试地址：$url";

if [ $min != 0 ];then
echo "  最小并发数：$min";
fi

if [ $max != 0 ];then
echo "  最大并发数：$max";
fi

if [ $step != 0 ];then
echo " 每轮并发递增：$step" 
fi


# 指定输出文件名
datestr=`date +%Y%m%d%H%I%S`
outfile="$datestr.out";

# runtest $cmd $outfile $rounds $sleeptime
function runtest() {
    # 输出命令
    echo "";
    echo '  当前执行命令：'
    echo "  $cmd"
    echo '------------------------------'

    # 开始执行测试
    cnt=1
    while [ $cnt -le $rounds ];
    do
        echo "第 $cnt 轮 开始"
        $cmd >> $outfile 
        echo "\n\n" >> $outfile
        echo "第 $cnt 轮 结束"
        echo '----------------------------'

        cnt=$(($cnt+1))

        if [ $cnt -le $rounds ]; then
            echo "等待 $sleeptime 秒"
            sleep $sleeptime
        fi 
    done
}


temp=$cmd;
if [ $flag != 0 ]; then
    cur=$min
    over=0
    while [ $cur -le $max ]
    do
        cmd="$temp -c$cur $url"
        runtest $cmd $outfile $rounds $sleeptime 

        cur=$(($cur+$step))
        if [ $cur -ge $max -a $over != 1 ]; then
           cur=$max 
           over=1
        fi
    done
else 
    cmd="$cmd -c$clients $url"
    runtest $cmd $outfile $rounds $sleeptime 
fi


# 分析结果
if [ -f $outfile ]; then
echo '本次测试结果如下：'
echo '+------+----------+----------+---------------+---------------+---------------+--------------------+--------------------+'
echo '| 序号 | 总请求数 |  并发数  |   失败请求数  |   每秒事务数  |  平均事务(ms) | 并发平均事务数(ms) |　  总体传输字节数  |'
echo '+------+----------+----------+---------------+---------------+---------------+--------------------+--------------------+'

comp=(`awk '/Complete requests/{print $NF}' $outfile`) 
concur=(`awk '/Concurrency Level:/{print $NF}' $outfile`)
fail=(`awk '/Failed requests/{print $NF}' $outfile`)
qps=(`awk '/Requests per second/{print $4F}' $outfile`)
tpr=(`awk '/^Time per request:(.*)\(mean\)$/{print $4F}' $outfile`)
tpr_c=(`awk '/Time per request(.*)(mean, across all concurrent requests)/{print $4F}' $outfile`)
trate=(`awk '/Transfer rate/{print $3F}' $outfile`)

for ((i=0; i<${#comp[@]}; i++))
do
    echo -n "|"
    printf '%6s' $(($i+1)) 
    printf "|"

    printf '%10s' ${comp[i]}
    printf '|'
    
    printf '%10s' ${concur[i]}
    printf '|'

    printf '%15s' ${fail[i]}
    printf '|'

    printf '%15s' ${qps[i]}
    printf '|'

    printf '%15s' ${tpr[i]}
    printf '|'

    printf '%20s' ${tpr_c[i]}
    printf '|'

    printf '%20s' ${trate[i]}
    printf '|'

    echo '';
    echo '+-----+----------+----------+---------------+---------------+---------------+--------------------+--------------------+'
done
echo ''
fi

三、测试示例                                                                                             

sh ab-test-tool.sh -N 100000 -C 100 -R 2 -I 100 -X 500 -J 80 -S 5 -U 'http://...'

四、注意事项                                                                                                                  

１，每次测试结果以“yymmddhhiiss.out"存放在脚本所在目录，因此请保持脚本目录可写。

２，ab的所有输出结果均可在.out中查到。测试结果只是展示部份指标，需要详细的可以在.out文件中查看

３，查看使用帮助可使用-h/–help。

４，linux终端默认1024限制，如需大于此数，请使用管理员执行："ulimit -n 655350"

五、ab信息说明                                                                                        

Server Software:        web服务器软件及版本
Server Hostname:        表示请求的URL中的主机部分名称
Server Port:            被测试的Web服务器的监听端口
 
Document Path:          请求的页面路径
Document Length:        页面大小
 
Concurrency Level:      并发数
Time taken for tests:   测试总共花费的时间
Complete requests:      完成的请求数
Failed requests:        失败的请求数，这里的失败是指请求的连接服务器、发送数据、接收数据等环节发生异常，以及无响应后超时的情况。对于超时时间的设置可以用ab的-t参数。如果接受到的http响应数据的头信息中含有2xx以外的状态码，则会在测试结果显示另一个名为“Non-2xx responses”的统计项，用于统计这部分请求数，这些请求并不算是失败的请求。
Write errors:           写入错误
Total transferred:      总共传输字节数，包含http的头信息等。使用ab的-v参数即可查看详细的http头信息。
HTML transferred:       html字节数，实际的页面传递字节数。也就是减去了Total transferred中http响应数据中头信息的长度。
Requests per second:    每秒处理的请求数，服务器的吞吐量，等于：Complete requests / Time taken for tests
Time per request:       平均数，用户平均请求等待时间
Time per request:       服务器平均处理时间
Transfer rate:          平均传输速率（每秒收到的速率）。可以很好的说明服务器在处理能力达到限制时，其出口带宽的需求量。
 
Connection Times (ms) 压力测试时的连接处理时间。
              min  mean[+/-sd] median   max
Connect:        0   67 398.4      9    3009 
Processing:    49 2904 2327.2   2755   12115
Waiting:       48 2539 2075.1   2418   12110
Total:         53 2972 2385.3   2789   12119

Failed requests原因分析

Failed requests: 2303
(Connect: 0, Length: 2303, Exceptions: 0)
只要出现Failed requests就会多一行数据来统计失败的原因，分别有Connect、Length、Exceptions。
Connect 无法送出要求、目标主机连接失败、要求的过程中被中断。
Length 响应的内容长度不一致 ( 以 Content-Length 头值为判断依据 )。
Exception 发生无法预期的错误。

 

参考：文章中有一部分内容来源网络，以后补充

由于本人经验有限，文章中难免会有错误，请浏览文章的您指正或有不同的观点共同探讨！