性能/压力测试工具Apache ab修改系列：Part3——从文件中读取压力/性能测试的 url、header、cookie信息
需求：
修改Apache AB 工具，使其能够从文件中读取压力/性能测试的 url、header、cookie信息，并采用这些信息进行随机组合访问的压力和性能测试。
解决方案：
1. 如何从文件中读取url、header、cookie信息，并保证该操作不影响Apache AB的性能及数据统计?
首先，我所考虑的方法是，在ab读取设置参数的时候，如果配置为需要从文件中读取url、header、cookie等信息，则立即将这些信息读入到内存中备用，这样就能在Apache AB开始压测前完成所有的数据准备工作。
/* edit by gongyuan.cz */
while ((status = apr_getopt(opt, "J:O:Q:n:c:t:b:T:p:u:v:rkVhwix:y:z:C:H:P:A:g:X:de:Sq"
#ifdef USE_SSL
"Z:f:"
#endif
,&c, &optarg)) == APR_SUCCESS) {
switch (c) {
/* edit by gongyuan.cz start --- */
case 'J':
if(0 != (r = open_pathfile(optarg)))
exit(r);
break;
case 'O':
if(0 != (r = open_cookiefile(optarg)))
exit(r);
break;
case 'Q':
if(0 != (r = open_headerfile(optarg)))
exit(r);
break;
/* edit by gongyuan.cz end ----- */
其次，我设计的数据在文件中的存放格式为：
数据在文件中存放的格式 写道
5
/url/xxx1.html
/url/xxx2.html
/url/xxx3.html
/url/xxx4.html
/url/xxx5.html
/url/xxx1.html
/url/xxx2.html
/url/xxx3.html
/url/xxx4.html
/url/xxx5.html
其中，5代表文件中url的个数，而其后面的5行，每行代表一个url内容。
接下来是读取文件的代码介绍：
/* read data to Path from file, edit by gongyuan.cz */
static int open_pathfile(const char *file)
{
int file_len = 0, pos_cur = 0, line_size = 0, index = 0;
char* databuff = NULL;
char* dataline = NULL;
// 读取文件，并判断是否读取成功
FILE * in = fopen(file, "r");
if (!in) {
perror("Cannot open path file");
exit(1);
}
// 获取文件的总长度大小
fseek(in, 0, SEEK_END);
file_len = ftell(in);
fseek(in, 0, SEEK_SET);
// 设置一个数据buffer，并将文件的所有内容放入该buffer中
databuff = (char*)malloc(file_len + 1);
fread(databuff, 1, file_len, in);
*(databuff+file_len) = '\0';
// 以换行符“\n”为分隔符，获取每一行的数据
// 在此，先读取第一行的数据，即url的数目，之后根据该数值为存放
// url的数组申请空间
dataline = strstr(databuff + pos_cur, "\n");
if(dataline)
{
line_size = dataline - databuff - pos_cur;
dataline = (char*)malloc(line_size + 1);
strncpy(dataline, databuff + pos_cur, line_size);
*(dataline + line_size)= '\0';
// 为存储url内容的数组 char ** pathName分配空间
pathNum = atoi(dataline);
pathName = (char**)malloc((pathNum + 1) * sizeof(char *));
if(pathName == NULL){
perror("Malloc path name error");
exit(1);
}
pos_cur += line_size + 1;
}
// 读取后续的url内容，并存放到数组中
do
{
dataline = strstr(databuff + pos_cur, "\n");
// 在此加了限制，防止数组越界
if(dataline&&index < pathNum)
{
line_size = dataline - databuff - pos_cur;
// set pathName
pathName[index] = (char*)malloc(line_size + 1);
strncpy(pathName[index], databuff + pos_cur, line_size);
*(pathName[index] + line_size) = '\0';
index++;
pos_cur += line_size + 1;
}
}while(dataline);
// 最后结束，关闭文件，返回0
fclose(in);
return 0;
}
/* ------------------------------------------------------- */
2. 如何构建url、header、cookie信息的随机组合访问的压力和性能测试？
为了能够根据我们的需求对AB的请求信息进行设置，我将AB内设置请求信息的代码独立编写成一个函数。
/* set request, edit by gongyuan.cz */
static void set_request()
{
int snprintf_res = 0;
/* setup request */
if (posting <= 0) {
snprintf_res = apr_snprintf(request, sizeof(_request),
"%s %s HTTP/1.0\r\n"
"%s" "%s" "%s"
"%s" "\r\n",
(posting == 0) ? "GET" : "HEAD",
(isproxy) ? fullurl : path,
keepalive ? "Connection: Keep-Alive\r\n" : "",
cookie, auth,
headerNum ? hdrs_cp : hdrs);
}
else {
snprintf_res = apr_snprintf(request, sizeof(_request),
"%s %s HTTP/1.0\r\n"
"%s" "%s" "%s"
"Content-length: %" APR_SIZE_T_FMT "\r\n"
"Content-type: %s\r\n"
"%s"
"\r\n",
(posting == 1) ? "POST" : "PUT",
(isproxy) ? fullurl : path,
keepalive ? "Connection: Keep-Alive\r\n" : "",
cookie, auth,
postlen,
(content_type[0]) ? content_type : "text/plain", (headerNum ? hdrs_cp : hdrs));
}
if (snprintf_res >= sizeof(_request)) {
err("Request too long\n");
}
if (verbosity >= 2)
printf("INFO: %s header == \n---\n%s\n---\n",
(posting == 2) ? "PUT" : "POST", request);
reqlen = strlen(request);
/*
* Combine headers and (optional) post file into one contineous buffer
*/
if (posting >= 1) {
char *buff = malloc(postlen + reqlen + 1);
if (!buff) {
fprintf(stderr, "error creating request buffer: out of memory\n");
return;
}
strcpy(buff, request);
memcpy(buff + reqlen, postdata, postlen);
request = buff;
}
#ifdef NOT_ASCII
inbytes_left = outbytes_left = reqlen;
status = apr_xlate_conv_buffer(to_ascii, request, &inbytes_left,
request, &outbytes_left);
if (status || inbytes_left || outbytes_left) {
fprintf(stderr, "only simple translation is supported (%d/%"
APR_SIZE_T_FMT "/%" APR_SIZE_T_FMT ")\n",
status, inbytes_left, outbytes_left);
exit(1);
}
#endif /* NOT_ASCII */
}
/* ------------------------------------------------------- */
之后，对write_request函数进行修改，在其最前面添加如下代码：
static void write_request(struct connection * c)
{
/* edit by gongyuan.cz start */
/* set path */
if(pathNum){
int index = random() % pathNum;
path = apr_pstrcat(cntxt, pathName[index], NULL);
/* set fullurl */
if(isproxy){
fullurl = apr_pstrcat(cntxt, fullurl, pathName[index], NULL);
}
}
/* set cookie */
if(cookieNum){
int index = random() % cookieNum;
cookie = apr_pstrcat(cntxt, "Cookie: ", cookieName[index], "\r\n", NULL);
}
/* set header */
if(headerNum){
int index = random() % headerNum;
hdrs_cp = apr_pstrcat(cntxt, hdrs, headerName[index], "\r\n", NULL);
}
/* set request */
if(0 != pathNum || 0 != cookieNum || 0 != headerNum){
set_request();
}
/* edit by gongyuan.cz end */
最后，经过以上的修改之后，修改版的Apache AB工具，不仅具备之前的所有功能，还具备从文件中读取url、header、cookie等信息并随机组合之后进行压力/性能测试。
修改版的Apache AB与原版Apache AB的性能及数据统计对比报告，在之前博客：
性能/压力测试工具Apache ab修改系列：Part1--与Apache AB原版对比测试报告
中有详细的介绍。
ok，性能/压力测试工具Apache ab修改系列：Part3 介绍完毕，欢迎拍砖。转发请备注转自：100continue.iteye.com。 谢谢。