LR11-03
一、并发测试(n VU)
1、并发测试两个条件
1)脚本中要有 集合点(并发点)
2)控制台中要设置并发策略(选择第一项,所有虚拟用户到达集合点后释放)
集合点: 5个线程,代表5个VU 并发执行一次购票
o------------|o------
o------------|o------
o------------|o------
o------------|o------
o------------|o------
此时设置集合点(并发点)
等所有线程到达集合点时,才一起释放,此时的压力最大(瞬时压力)。
注意:在事务开始之前,设置并发点
2、并发点 只有在并发测试中使用。(在单脚本中用不到,可以注释掉,在控制台中做并发测试,要)
案例:在脚本中添加并发点,执行并发测试
需求:并发购票
(1)修改脚本(VUG中)
注意:在事务脚本之前添加
lr_start_transction("buy");
在事务开始之前 -> 点击Insert -> Rendezvous
-> 输入集合点名称Rendezvous Name: buy 一般与事务名相同
就会生成脚本:lr_rendezvous("buy");
-> 编译 Compile(同时会立即保存)
注意:修改完脚本,要及时编译。
打开控制台,进行并发测试。
加载day/buy脚本。注意,如果加载后修改脚本,需要在控制台中刷新脚本。
右击脚本文件路径 -> Details 细节 -> Refresh 下拉菜单,
选中Script: 刷新脚本 (很常用)
选中Runtime Settings: 控制台中的设置被覆盖 (不常用)
提示:可以在控制台中,打开某个脚本 View Script 按钮
脚本中发生变动(加了检查点、集合点、代码等)
1)一定要点击编译 Compile按钮,同时也会自动保存
2)在控制台中要刷新脚本
(2)设置并发策略(Controller中)
控制台中要设置并发策略:(参考:并发点策略_2.png)
选择Scenario菜单 -> Randezvours... 并发点-> 打开窗口,设置策略 -> 点击Policy按钮 (策略)
第1项:Release when 100% of all Vusers arrive at the rendezvous. (选择此项)
当100%虚拟用户到了集合点时释放虚拟用户VU
(所有VU的n%) 10个VU 都算 10 * n%
第2项:Release when 100% of all running Vusers arrive at the rendezvous.
当100%正在运行的VU到达集合点时释放VU
(所有正在运行的VU的n%)
如果10个VU只有5个正在运行,5 * n%
第3项:Release when 1 Vusers arrive at the rendezvous.
指定n个虚拟用户达到集合点,再释放
Timeout between Vusers: 30 sec
超时时间:两个虚拟用户之间的 (一般到不了,默认不改)
完成5个VU的并发:
控制台 -> Basic schedule -> Quantity 改为 5
Start Vusers: 用户数少,登录时间快,不用改
Duration: 选Run until completion 表示瞬时压力
继续设置Run-time Settings:
Run Logic: 迭代次数 1
Pacing: 改为As soon as the previous iteration ends.
Log: 默认
Think time: 默认 忽略 Ignore think time
好比:不停地发请求,不给喘息时间
并发测试:注意think time要忽略。
原因:think time时间越长,对AUT的压力越缓,而并发测试是严格的测试,所以要忽略该时间。
目的:将最大的压力模拟出来。
配置完毕 -> 运行场景 -> 查看结果报告
并发测试要点回顾:
1)事务前设置并发点
2)控制台中设置并发策略
3)要忽略Think time
二、参数化
类似于QTP的参数池,比如可以模拟不同的用户进行登录
以不变的业务(脚本),处理不同的数据
提示:如何提高技术表达能力?
阅读大量技术评论文章,包括每天的笔记。多熟悉技术术语。
找机会多说。
独立写出技术文章。
1、定义
对脚本中的常量进行参数化,让不同的VU在执行相同的脚本时,分别使用参数池的不同数据替代这些常量,从而达到模拟多用户真实使用系统的情况。
2、步骤:
1)确定需要参数化的数据
2)准备数据 (参数池)
3)参数化
先打开WebTours首页,注册一个用户qq 密码qq
首页 -> Sign up now 开始注册
Username: qq
Password: qq
Confirm: qq
...不填
注册后会以文件方式保存用户信息:(模拟数据库)
C:\Program Files\HP\LoadRunner\WebTours\MercuryWebTours\users
针对buy脚本进行参数化:
为了便于还原,备份buy脚本,
另存为day03\buy1 File -> Save As
找到init脚本需要参数化的常量: jojo
双击jojo 选中 -> 右击
-> Replace with Parameter 用一个参数代替
-> 弹出窗口:
Parameter name: name 参数名称
Parameter type: File 文件类型,大部分都选
Original value: jojo 例子
-> {name}
密码也类似:将bean 用同样办法替换为{pwd}
到此,定义好两个参数。
接着考虑参数的数据准备:VuGen
倒数第2个图标按钮:Open Parameter List-> 参数池 窗口
左侧可选择不同的参数名称,可编辑
点击name-> Edit with Notepad 按钮 使用记事本来编辑
name
jojo
qq
注意:用ctrl+a检查 确保光标在最后一行的下一行开头
保存关闭
First data: 1改为 2 从第2行开始取数据(原数据还在)
同理:pwd也加1行值:qq
First data: 也改为 2(从第2行开始取数据,原数据还在)
-> Close
参数池数据准备完毕
编译脚本 -> 运行脚本
如果运行失败,根据回放日志Replay Log查看原因:
Script Aborted! 脚本被放弃了!
原因:其它位置(检查点函数)使用了jojo,也需要进行参数化
选中jojo -> 右击 -> Use Existing Parameter -> 选name-> {name}
新的需求:让jojo和qq各自订一张票
首先清空AUT中jojo和qq的订票记录,观察新的结果
在Parameter List中,First data: 1 从jojo开始取
在Run-time Settings中:迭代次数:2 (Action)
编译 -> 运行
遇到的问题:jojo登录1次,订票2次
init和end只会执行一次,Action可以迭代多次
解决方法:将init中的脚本剪切到Action中,参与迭代
注意:保留原有函数的语法格式(类C语言)
vuser_init(){
return 0;
}
重新编译 -> 回放
说明:只要不退出,就是在线,就可以一直发请求。
LR主要关注的是数据包,而QTP主要关注的是界面。
3、要点归纳
1)参数化时,参数池中的数据写好后,要让光标停留在新的一行。
否则可能导致出错(白行或者缺少数据)。
技巧:ctrl + a 观察格式
2)init只执行一次,Action参与迭代,在参数化时需要注意。
3)LR依靠网络协议录制脚本,脚本中记录的是请求数据包信息,只要用户在线(登录成功),则可以继续发送请求到达任意界面,也可实现循环操作。
4、参数池的策略初步(Parameter List窗口中设置)
特点:功能强大,LR产品的一个卖点(出彩) BS/MS题 拔高点
1、Select next row (取值方式 How?)
Sequential 顺序的(默认) 取完第1行,取第2行...
Random 随机取
Unique 唯一取
Same line as pwd.. 和xxx步调一致pwd取法一样
2、Update value on (更新方式 When?)
Each iteration 每次迭代时取值 (取值)
...
作业:
1、对于查询订单,进行基准测试和5用户、10用户的并发测试,并记录其平均响应时间。(生成3项)
2、回顾之前所有内容(尤其是测试理论、数据库)
一、继续学习参数化
案例:注册30个用户,脚本要求:
1)脚本中一定有检查点
2)保证30个用户全部成功
3)用单机执行还是控制台? 使用单机VuGen
原因:使用VuGen 单机,压力较缓,容易成功。
测试数据,尽量不用控制台
提示:1VU,使用迭代
每注册1个用户,会在C:\Program Files\HP\LoadRunner\WebTours\MercuryWebTours\users中会多1个以新注册的用户名 命名的文件
先准备用户数据:使用Excel 设计 qq1~qq30 1~30
开始录制注册脚本:
New -> New Virtual User界面说明:
左侧:
New Single Protocol Script 新的单协议脚本(较简单)
New Multiple Protocol Script 新的多协议脚本(较复杂)
New Script Recent Protocol 刚打开过的协议
上方:
Ajax..异步通信,局部刷新支持、
Flex 就是Flash动画协议、
Oracle[2-Tier]两层协议、
Oracle NCA 是.Net新技术、
Web Services技术(异构平台之间互操作 C <--> Java)
最常用的:Web[HTTP/HTML] 协议
Create -> 输入URL -> Action 注册需要迭代 -> OK
等待events数字不动后 (页面下载完毕)
-> 点击Sign up now
-> 输入Username: www Password: 1 Confirm: 1
-> 开始事务reg -> Continue -> 进入欢迎页面
-> 插入检查点: Thank you, www,
-> 结束事务reg
-> 切换为vuser_end -> 点击Continue -> Sign Off
-> 关闭浏览器 -> Stop
保存脚本:script/day04/reg
将脚本进行备份:另存为day04/reg1 File-> Save as ...
提示:LR脚本编辑器有局限,撤销ctrl+z 步数是有限的。
技巧:多备份
配置方法(2种)
方式一:做两个参数池 name 和 pwd
双击www选中 -> 右击 -> Replace with a Parameter
-> 命名 name -> {name}
双击 1 选中 -> 右击 使用参数代替 -> 命名pwd -> {pwd}
双击 1 选中 -> 右击 Use Existing Parameter
使用已存在的参数 -> 选中 pwd -> {pwd}
再检查需要替代的固定值:检查点中需要替换
双击www -> 替换成已存在的 {name}
将参数池添加完整:
Open Parameter List... -> 进入参数池配置窗口
先填name -> 将Excel中的name值拷贝 -> name.dat
-> Edit with Notepad name后粘贴 qq1~qq30
再填pwd -> 拷贝1~ 30 -> pwd.dat
-> Edit with Notepad pwd后粘贴 1~30 注意格式!(光标在最后1行开始,用ctrl+A检查)
关闭窗口
准备运行脚本(不用打开控制台)
-> 打开Run-time Settings:
Run Logic -> Number of Iterations: 10
Pacing -> 选第2项:random 随机 2 ~ 3 秒
After the previous iteration ends:with a random delay of 2.000to 3.000 sec
提示:机器配置高,一般配置2~3秒;若配置低,延长些:6~9秒
Log 不变 当前是标准日志,如果让日志更详细,可使用扩展日志
Standard Log 标准日志
Extended Log 扩展日志 选择
Parameter subsitution 进一步查看 参数替代信息 选择
Think time -> 单选 Replay think time
-> Use random percentage of recorded think time:
Min: 50% Max: 150%
根据录制时间给出百分比,比如录制10秒,50%到150%就是5到15秒
原因:(做数据,要保证成功)
配置完成,开始运行...
10次迭代,大约10分钟、
方法一的局限:如果是1个大型项目,用户名和密码较多,多个用户名和密码一般在一起
问题:2个参数值,能否写在一起?
解决:name.dat、pwd.dat-》xxx.dat(分列方式)采用方式二
方式二:将两个参数表的参数放在一起。
name的本质:就是一个name.dat文件 进入脚本文件夹 打开
将reg另存为reg2 File -> Open -> reg
做两个参数池:{name} {pwd}
选中www -> 替换为参数 -> {name}
选中1 -> 替换为参数 -> {pwd}
选中1 -> 使用已有的代替 -> {pwd}
检查点 选择www -> 使用name代替 -> {name}
Open Parameter List... -> 配置参数池
选择name -> Add Column 加列 -> 起列名 pwd 名字任意
Edit with Notepad 编辑文本
-> 大量替换:将Tab字符全部替换成逗号, -> 关闭
name,pwd
qq1,1
qq2,2
...
qq30,30
此时,完成两列数据写在一个文件中。
在File format中,默认指定Column: Comma 逗号分隔
还可以选择:Tab 制表符 或 Space 空格
选择pwd参数 -> File 选成 name.dat 共享一个文件
之后针对name和pwd选择列:
Select column: 两种办法
By number: 1 列号 name选1 pwd选2
或By name: 根据列名指定
避免数据重复,First Date都从11行开始
-> Close 编译
打开Run-time Settings:
Run Logic: 迭代 10次
Pacing: 第2项 随机 2~3秒
Log: 选择扩展日志,进一步查看参数替代信息
Think time: 单选Replay think time
使用随机的 50% 150%
配置完成 -> 运行脚本
结论:推荐使用第二中方式,比较常用。
(曾经的一道上机题,主要考察参数化、关键是参数池策略)
二、参数池的策略 (BS/MS题:讲讲参数池的策略)
1.参数化:(关心的是数据)
1)、含义:同样的业务,出现不同的数据,考虑采用脚本参数化技术
2)、步骤:
确定参数化的数据-->准备数据->提供策略-->参数化
3)、准备数据 (目前:File方式)
<1> 每个参数使用独立文件 (参数池)
<2> 多个参数共享同一个文件 (常用)
Excel工具、Column(序号、列名)、First Data(从哪开始)
4)、参数池策略 (重点、难点)
Select next row: 选择下一行(How?如何取?)
a) Sequential 默认 顺序的
b) Random 随机取
c) Unique 唯一取
d) Same line as xxx 和xxx步调一致
Update value on: 更新方式(When?何时取)
a) Each iteration 默认 每次迭代
b) Each occurrence 每次遇到该参数时取值
c) Once 取值仅一次
When out of values: 数据不足时的处理情况
a)放弃虚拟用户 Abort Vuser
b)以循环的方式继续 Continue in a cyclic manner
c)持续取最后一个值 Continue with last value(原地踏步)
1、选择下一行 (How? 如何取?)Select next row
1)顺序的 Sequential :从第一行开始顺序向下取值
2)唯一的 Unique: 从第一行开始,唯一的向下取值
(用过了,就取新的值)
例如:数据a b c d e f g ...,现有3个用户(甲乙丙)取值;循环2次。
A) 顺序方式:甲(a, b) 乙(a, b) 丙(a, b)
B) 唯一方式:甲(a, b) 乙(c, d) 丙(e, f)
如果是注册,采用唯一方式,用过了就不能再用
c) 对于单用户来说,顺序和唯一取值序列是相同的。
3)随机的 Random: 随机取值。(值可能重复)
4)Same line as xxx: 取值策略与xxx相同 (行相同)
2、更新方式(When? 何时取?)Update value on
1)每次循环 Each iteration: 每次迭代时取值 (常用)
指的是:Action中的脚本,每次迭代时更新值
2)每次遇到 Each occurrence: 每次遇到该参数时取值
指的是:比如每次遇到{name}时,都会换一次值
3)取值一次 Once: 脚本运行过程中只取值一次
值的是:一次选择,终身不变
另外,When out of values: 当选择Unique时才出现,表示取值越界后的处理方式
3、数据不足时的处理情况(只有选择Unique时适用)
说明:顺序、随机时认是数据时充足的
规律:当选择顺序方式时,数据取到最后一行,再循环从第一行选取。
When out of values: 有三种策略
1)放弃虚拟用户 Abort Vuser
2)以循环的方式继续 Continue in a cyclic manner
3)持续取最后一个值 Continue with last value(原地踏步)
5)、需求:注册脚本,多用户,则数据池取值策略?
注册脚本,多用户 --- UEA组合(Unique+Each iteration+Abort Vuser)(唯一+每次迭代+放弃虚拟用户)
另外常见的组合:-----SE组合(Sequential+Each iteration)(顺序 + 每次迭代)
Parameter List窗口中:
三、综合场景测试 --- 号称能够最真实的模拟实际生产环境
综合场景案例1
综合场景的几个要素:
多用户、
多个脚本(至少3个)、
在线执行(多种操作)一段时间(1小时、50分钟等),一般是不加并发点。
注意:只要是多用户,就存在并发
综合场景测试过程中,所有用户循环执行相应的操作。
1、录制三个脚本(测试点):购买机票、查询线路、浏览航班;每个脚本都加检查点(手工)。准备进行综合场景。
首先做一个设置:(目的:为了让页面标题变为自动的检查点)
VuGen中 点击录制选项按钮 Edit Recording Options
General-> 选择第三项 Recording 脚本录制方式 不用改 (默认选择HTML方式)
HTTP Properties-》选择HTML Advanced高级 ->
选择Preferences复选框:
Generate web_reg_find functions for page titles
为页面标题生成检查点函数
再选择:Support charset -> UTF-8 对中文网站支持比较好
-> OK
以后都可生效。
练习:录制一个登陆脚本,查看配置效果
新建脚本 -> OK -> 输入jojo和bean
-> 开始事务login -> 点击Login按钮 -> 结束事务login
-> 插入检查点"Welcome, jojo, to the"
-> 改为vuser_end -> Sign Off -> 关闭浏览器 -> Stop
发现:web_reg_find("Text=Web Tours", LAST);
每个页面都有,只验证页面的标题。比如:跳转到错误页面,则标题是不同的。
规律:虽然在事务结束后,插入检查点,由于web_reg_find函数是注册性函数,
所有还是在相应请求之前。
开始练习录制脚本:day05目录下/ buy search scan
(1)购买机票 buy
录制过程和之前一样,注意添加检查点、事务点
(2)查询路线 search
New脚本 -> vuser_init -> 输入jojo和bean
-> 开始事务login -> 点击Login -> 结束事务login
-> 改为Action -> 点击Flights按钮
-> 选择城市从Denver到 Paris -> 开始事务search
-> 点击Continue -> 添加检查点 "Denver to Paris"
-> 结束事务search
-> 改为vuser_end -> Sign Off -> 关闭浏览器 -> Stop
(3)浏览航班 scan
New新建 -> 改为vuser_init -> 输入jojo和bean
-> 开始事务login -> 点击Login -> 结束事务login
-> 改为Action -> 开始事务scan -> 点击Itinerary按钮
-> 设置检查点 "A total of" -> 结束事务scan
-> 改为vuser_end -> Sign Off -> 关闭浏览器 -> Stop
注意:检查点会浪费性能,所以手工添加检查点时,只需1~2个即可
场景设置的前提:确保脚本录制、调试、回放成功。
2、需求:10用户综合场景
综合场景设置要求:
1)修改脚本:
2)设置场景:
3)虚拟用户加载部署情况:
4)Run-time Settings设置
1)修改脚本:
脚本事务中的think time时间要删除或或者移到事务之外。
原因:如果综合场景测试保留think time,在事务之内会起作用,从而影响事务的响应时间,导致结果不准确。
操作:对三个脚本都要移动 buy search scan
(包括:init、Action、end都要找遍)
lr_think_time(25);
lr_start_transaction("login");
...其中没用思考时间...
lr_end_transaction("login", LR_AUTO);
注意:修改后脚本都需要重新编译
如果脚本中有并发点,要注释掉;因为综合场景中有并发,但是不需要产生瞬时压力,无需设置集合点。
//lr_rendezvous("buy");
2)设置场景:
打开控制台 -> New Scenario -> Browse 浏览 找到具体的脚本
-> 依次选择 day05/下的三个脚本 -> OK
-> 进入场景配置界面 保证3个脚本都打钩
-> 单选 Basic schedule
Group Name 默认就是脚本名 Quantity
buy.3 2
search 4
scan 4
一共10个VU,保持合适的比例,平时根据客户的需求
接着还需处理Scenario Schedule:
Schedule by:
Scenario 默认按照场景方式 (选择)
特点:所有脚本共享同一场景
按场景:场景中,多个VU统一配置、行动
或 Group 按组方式,分组设置场景
按组:每个组,组内VU统一行动 (按组行动)
重点设置左下角Global Schedule:
以上三个脚本都选中,一次配置三个(出现黑框) ->
Start Vusers双击-> 设置一个小的递增 单选第2项
-> 1 00:00:01 [HH:MM:SS] -> OK
每隔1秒钟加载一个VU
-> 及时观察右边效果图:锯齿状
Duration 双击
-> 单选第2项:Run for 0 days and 00:30:00 (HH:MM:SS)
-> OK 确定指定的时间 30分钟 (项目中一般50分钟、1小时)
如果第1项:Run until completion 直到结束,适合于循环,确定次数;
如果第3项:Run indefinitely 一直跑,直到手动停止
虚拟用户加载部署情况:
A)每隔1秒钟加载1个VU
B)Duration: 30分钟
说明:由于Duration运行的是Action部分,
所以指的是VUs登录后运行30分钟。10个虚拟用户,10个线程,各自运行,模拟实际生产环境。
3)Run-time Settings设置
设置左上角按钮:Run-time Settings (细节较多)
选择三个脚本(出现黑框)-> 点击按钮 Run-time Settings
->弹出窗口,选择“多”运行模式 RTS的简写
Share RTS 共享 / Individual RTS 独立的
先选择Individual RTS 独立的,会依次配置每个脚本,配置完某个脚本会自动打开窗口配置后续的。
1)General
Run Login -> Number of Iterations: 1 不变
Pacing -> 改为第2项After the previous iteration ends: 随机间隔2~3秒
Log -> Enable logging (选择)
Log options:
Send messages only when an error occurs 出错时才发日志(选择)
Alwarys send message 总是发日志
Log message at the detail level of:
Standard log 标准日志(选择)
Extended log 扩展日志
Think time: 随机百分比,可以适当调大些
Use random percentage of recorded think time:
Min: 200% Max: 300%
Additional attributes: 附属选择/特殊参数值,目前不配置
Miscellaneous: 杂项
Error Handling中 -> Continue on error 打钩 出错时继续
原因:长时间测试过程中会执行大量的事务,不要因为某个错误而停止场景的运行。
说明:
a)Error Handling中:
Continue on error 出错时继续(选择)
Fail open transactions on lr_error_message 使用不多
Generate snapshot on error 出错时,生成快照,使用不多
原因:会增加工具资源消耗,影响测试结果
b)Multithreading中: Thread 线程
Run Vuser as a process 以进程方式 (比较消耗资源)
Run Vuser as a thread 以线程方式(比较省资源)默认(选择)
c)Automatic Transactions中: 自动定义事务 (不设置)
Define each action as a transaction:
每一个Action都作为一个事务,比如:脚本中有3个
Define each step as a transaction:
每一个步骤都作为一个事务(每一句代码,产生过多的响应时间结果)
过于热闹,主次不分,出现过多的响应时间结果
2)Network
Speed Simulation -> Network Speed 模拟网速
Use maximum bandwidth: 使用最大带宽 (选择)
准备一个充足的带宽,将最大压力呈现给服务器
Use bandwidth: 使用选择的带宽
Use custom bandwidth(bps): 使用用户自定义带宽
3)Browser
Browser Emulation -> 模拟浏览器
Browser properties 属性配置
User-Agent 浏览器信息...
Simulate browser cache 模拟浏览器的Cache 缓存
目的:提高客户端的浏览速度 -> (去掉打钩!)
Cache URLs requiring content [HTMLs]
Check for newer versions of stored pages every visit to the page.
Download non-HTML resources 下载非HTML资源 (打钩)
Simulate a new user on each iteration 模拟新用户(打钩)
Clear chache on each iteration 每次迭代清缓存(打钩)
4)Internet Protocol
Proxy: No proxy 默认不要代理 (默认打钩)
Use custom proxy 如果使用公司代理服务器,则选择
Preferences: 都不要改
-> Options... 打开 -> 将三个120改为600
指的是超时时间,保证充分时间,达到成功
包括:HTTP-request connect timeout(sec) -> 600
HTTP-request receive timeout(sec) -> 600
Step download timeout(sec) -> 600
点击OK后 -> 开始第二脚本的设置(和之前一样,复习一遍)
依次完成:buy.3、 search、 scan的设置。
run-time settings设置总结:
说明:迭代次数默认1 具体次数由持续时间决定
(1) pacing: 随机4-6秒 或 5-9秒,选择第2项
正常:2-3秒,教学机较慢,设置偏大些,保证不出错
(2) 日志log: 保留原有选项(出错时发送)
原因:大量日志也会占用磁盘空间。
(3) Think time: 随机百分比,适当调大 200% - 300%
(4) Continue on error: 错误时继续
原因:长时间执行大量事务,个别出错继续运行,不影响全局。
(5) Vuser选择 线程 方式。节省系统资源
(6) 网络:模拟用户的网络,使用最大带宽
(7) 模拟缓存:选择不模拟
使用场合:1、对AUT实施严格测试 2、门户网站
(8) Option 选项:3个120改为600
一般疲劳测试设置600足够了。
(9) 选择监控AUT服务器资源时注意:
网络选loopback(回环,前提当前服务器为本机;如果服务器不是本机,一定不能选回环);
选择磁盘(或CPU)资源时,遇到total就选total.
(10) 加完资源,就可以运行场景。
4)Windows resources配置
(Run视图 右下角窗口)
右击窗口->
Add Measurements... ->
Monitered Server Machines: 选机器 点击Add.按钮 ->
Machine Information:
Name: localhost 指定监控服务器的IP地址,主机名
目前就是本地主机
Platform: WINXP
-> OK
Resource Measurements on: localhost 清空里面所有选项
自己完成选项的添加(固定13项)
-> 点击Add按钮 -> 选择以下内容:
1)Memory中有4项:(内存)
Available MBytes -> Add
%Committed Bytes in Use -> Add
Page Faults/sec -> Add
Pages/sec -> Add
2)Network Interface中有2项: (网络)
Bytes Total/sec -> MS TCP Loopback inter...回环-> Add
本地主机才选回环
Packets/sec -> MS TCP Loopback inter...回环-> Add
本地主机自己和自己通信,用回环
3)PhysicalDisk中有4项(2个队列):(磁盘)见到Total就选
Avg.Disk Queue Length -> Total -> Add
Current Disk Queue Length -> Total -> Add
Disk Read Bytes/sec -> Total -> Add
Disk Write Bytes/sec -> Total -> Add
4)Processor中有2项:(进程)
%Processor Time -> Total -> Add Total表示总和
%User Time -> Total -> Add
5)System中有1项: (系统)
Processor Queue Length -> Add
-> OK
以上一共13项,先了解名字,后续再强化。
5)-> 加完资源,可以运行场景
点击Start Scenario
注意:运行过程中如果有错误,观察Scenario Status中的Errors 部分 0 (点开链接,寻找出错原因)
如果是场景设置问题,需要重新设置场景,重新运行
如果是脚本的问题,需要停止场景并调试脚本,重新运行
运行过程中,要关注几幅图的含义:
Running Vusers - whole scenario:
表示整个正在运行的虚拟用户 10个
Trans Response Time - whole scenario:
表示事务响应时间,比如蓝色线表示login,较短表示所有虚拟用户全部登录了,点击某条线看到具体信息
Hits per Second - whole scenario:
表示点击率,刚开始比较高,后来平稳了,因为刚开始有登录操作,看性能,主要看折现是否较陡,或看单位时间内的情况
Windows Resources - Last 60 sec:
表示
注意:
a)当场景中Duration到达指定时间时,会向所有的VUs发出退出系统的指令,所有VUs要运行完当前的Action后,退出系统。
b)错误查看方式:
如果发现Error,点击打开Output窗口,选中错误 -> 点击Details按钮-> 显示错误的详细信息
c)如果场景中监控服务器资源为负值,不是问题。不需要停止场景。
如果发现设置不合理,或者脚本错误导致场景中出现大量错误,则需要停止场景,重新调试脚本,刷新,部署好,再运行。
监控的服务器资源出处:
控制面板 -> 管理工具 -> 性能 -> 添加计数器
5)打开Analysis,保存结果报告,之后再分析
将场景文件保存:day05\ctrl\10用户综合场景测试
将结果报告保存:day05\result\10用户综合场景测试 之后分析
综合场景案例2:(先思考)
1、使用手工设置方式进行综合场景测试,11用户,
其中一个用户执行注册脚本,注册得到的用户名为其它脚本提供数据池(测试数据)。
2、综合场景中的脚本:
注册reg、
购买机票buy(登录时:用户名、密码要做参数化 共享参数池name.dat UEA组合:唯一+每次迭代+放弃VU)、
搜索航班search、
浏览路线scan
注意细节:
注册需要先执行,获取参数池的数据,该数据也被buy脚本共享
登录脚本需要放到Action中,参与迭代
注册先于其它开始执行,采用Group组方式:
选中“注册”->点击Start Group->Action type Start Group
第1项:Start immediately after the scenario begins
当场景开始时马上开始
第2项:Start _(HH:MM:SS) after the scenario begins
当场景开始__时间后才开始
第3项:Start when group—__finishes(关注此项)
当某个脚本执行完后再执行
意味着:在Scenario Schedule中,
Schdule by: 将Scenario换成 Group方式
注意:4个脚本需要单独设置场景
操作说明:控制台中四个常用按钮
运行、Run-time Settings、脚本修改后的刷新、从场景中打开脚本
(脚本运行出错,从场景中直接打开脚本:Design -> View Script
从错误提示信息中也可打开,直接定位到出错的位置)
1、录制脚本,添加事务、检查点、参数化 (保存在day06中)
(1)reg脚本 注册
录制过程:
New -> 选Action -> 点击Sign up now
-> 输入Username: tom Password:1 Confirm: 1
-> 开始事务 reg -> Continue -> 进入欢迎页面
-> 插入检查点 "Thank you, tom" -> 结束事务
-> 切换成vuser_end -> 点击Continue
-> Sign Off退出 -> 关闭浏览器 -> Stop
参数化 name和pwd,在name.dat中,使用ww1~ww11,检查光标停留在下一行:
name,pwd
ww1,1
ww2,2
...
ww11,11
使用的参数化策略:
针对name: (UEA组合)
Select next row: Unique 从第一行开始唯一向下选取
Update value on: Each iteration 每次迭代时更新
When out of values: Abort Vuser 放弃VU
针对pwd:
Select next row: Same line as name 和name步调一致
注意:修改后记得编译
(2)buy脚本 购票脚本
注意:将登录操作也录制在Action中,目的是便于按照SE组合取参数池的数据。
录制过程:
New -> 选择Action -> 输入jojo和bean
-> 开始事务login -> 点击Login -> 欢迎页面:
-> 插入检查点"Welcome, jojo," -> 结束事务login
-> 点击Flights -> 选择城市Denver 到 London
-> Continue -> Continue -> 开始事务buy -> Continue
-> 插入检查点"Denver for London" -> 结束事务buy
-> 改为vuser_end -> Sign Off -> 关闭浏览器 -> Stop
参数化:
将参数池准备好,拷贝reg目录中name.dat到buy目录中
针对name: (以后常用的SE组合 80%情况)
选择文件name.dat
Select next row: Sequential 顺序的
Update value on: Each iteration 每次迭代时
针对pwd:
选择文件name.dat
By number: 2
Select next row: Same line as name
(3)search脚本
New -> vuser_init -> 输入jojo和bean
-> 开始事务login -> 点击Login -> 结束事务login
-> 改为Action -> 点击Flights按钮
-> 选择城市从Denver 到 Paris -> 开始事务search
-> 点击Continue -> 添加检查点"Denver to Paris"
-> 结束事务search
-> 改为vuser_end -> Sing Off -> 关闭浏览器 -> Stop
(4)scan脚本
New -> 改为vuser_init -> 输入jojo和bean
-> 开始事务login -> 点击Login -> 结束事务login
-> 改为Action -> 插入事务scan -> 点击Itinerary按钮
-> 设置检查点"A total of" -> 结束事务scan
-> 改为vuser_end -> Sing Off -> 关闭浏览器 -> Stop
(5) 注意:检查所有脚本,对lr_think_time(..)进行调整,移动到事务之外。全部都编译一次。
检查buy脚本中的参数池数据,要和reg脚本中的保持一致。
到此,脚本录制、调试完成。
2、打开控制台,配置综合场景
创建一个新的场景,Browse加入day06下的4个脚本:reg、buy、search、scan
选择Schedule by: Group模式 (组模式)
注意:依次选择每个脚本,选择Run Mode: -> Basic schedule(不能只点1次,要点4次,分别设置)
Script Path Quantity
reg.1 1
buy 2
search 3
scan 5
注意:由于使用Group组模式,(左下角)每个脚本要逐一设置:
(1)reg脚本(选中)1人
Start Group: 改为Start immediately after the scenario begins (在场景启动后,立即开始)
Initialize: 不变 Initialize each Vuesr just before it runs
(在每个VU开始运行前初始化)
Start Vusers: 不变 Start all Vusers simultaneously
(所有VU同时开始) 因为就1个VU
Duration: 不变 Run until completion (运行直到结束)
打开Run-Time Settings:
Run Logic: 循环11次
Pacing: 选中第2项 随机random 2~3秒
Log: 默认不变
Think time: 50% 150%
Miscellaneous(杂项):Errror Handling 不选择Continue on error
原因:目前是做数据,如果出错,就不能继续往下跑,以免影响后续脚本执行。
Speed Simulation: 速度模拟 (不变)
Browser Emulation: 选择Simulate browser cache
原因:做数据测试,利用缓存cache容易成功
Proxy: 代理 (不变)
Preferences: Option参数 (先不动)
(其余的都不动)
(2)buy脚本 (选中)2人
Start Group: 选第3项 Start when group reg.1 finishes
Initialize: 不变 在每个VU开始运行前初始化
Start Vusers: 1 Vusers every 00:00:01 (HH:MM:SS) (每隔1秒加载1个VU)
由于目前VU就2个,数量较少:(採用)
可以保持不变 Start all Vusers simultaneously
Duration: 选第2项 Run for 0 days and 00:30:00(HH:MM:SS) (持续运行30分钟)
(注意:觀察Total:2 Vusers 要和Quantity一致)
(3)search脚本 (选中)3人
Start Group: 选第3项 Start when group reg.1 finishes
Initialize: 不变 在每个VU开始运行前初始化
Start Vusers: 1 Vusers every 00:00:01 (HH:MM:SS)
(每隔1秒加载1个VU)
Duration: 选第2项 Run for 0 days and 00:30:00(HH:MM:SS)
(持续运行30分钟)
(4)scan脚本 (选中) 同search脚本 5人
(5)查看配置效果图:
reg.1 虚线表示时间不确定
其它3条平行线 纵坐标:0 1 2 3 5(表示虚拟用户数)
(6)
注册reg的Run-time Settings已经单独设置好了,
继续统一设置其它三个:选中buy、search、scan
-> 设置Run-Time Settings -> Share RTS方式 (共享方式)
Number of Iterations: 1
Pacing: 选第2项 随机random 2~3秒
Log: Send messages only when an error occurs 出错时发送
Think Time: 随机 100% 200%
Miscellaneous(杂项):
Error Handling: 只选中 Continue on error
Multithreading: 选择Run Vuser as a thread 以线程方式
Speed Simulation: 最大带宽 Use maximum bandwidth
Browser Emulation: 不选择 Simulate browser cache
原因:进行比较严格的测试
选择 Download non-HTML resourses
选择 Simulate a new user on each iteration
选择 Clear cache on each iteration
Proxy: 代理 不要代理
选择No Proxy(direct connection to the Internet)
Preferences: 暂时不选 Enable Image and text check
Options 参数 (后续单独设置)
其余不动 -> OK
(7)之后依次buy、search、scan 设置Options:
选择buy脚本 -> Run-time Settings -> Preferences:
->Options... 打开
->将三个120改为600 指的是超时时间(时间充足,保证成功)
包括:HTTP-request connect timeout(sec) -> 600
HTTP-request receive timeout(sec) -> 600
Step download timeout(sec) -> 600
同样设置search和scan脚本...
(8) 最后配置Windows Resaources: 13+1项 (Run视图 右下角)
补充:Memory中 Page Reads/sec (页面读取率)
13项参考之前的笔记:(资源图.doc)
右击窗口-> Add Measurements... ->
Monitered Server Machines: 选机器 点击Add.按钮 ->
Machine Information:
Name: localhost 指定监控服务器的IP地址,主机名
目前就是本地主机
Platform: WINXP
-> OK
Resource Measurements on: localhost 清空里面所有选项
自己完成选项的添加(固定13项)
-> 点击Add按钮 -> 选择以下内容:
Memory中有4项:(内存)
Available MBytes -> Add
%Committed Bytes in Use -> Add
Page Faults/sec -> Add
Pages/sec -> Add
Network Interface中有2项: (网络)
Bytes Total/sec -> MS TCP Loopback inter...回环-> Add
本地主机才选回环
Packets/sec -> MS TCP Loopback inter...回环-> Add
本地主机自己和自己通信,用回环
PhysicalDisk中有4项(2个队列):(磁盘)见到Total就选
Avg.Disk Queue Length -> Total -> Add
Current Disk Queue Length -> Total -> Add
Disk Read Bytes/sec -> Total -> Add
Disk Write Bytes/sec -> Total -> Add
Processor中有2项:(进程)
%Processor Time -> Total -> Add Total表示总和
%User Time -> Total -> Add
System中有1项: (系统)
Processor Queue Length -> Add
-> OK
再追加一项:
Memory中:Page Reads/sec 页面读取率
以上一共14项,先了解名字,后续再强化。(高级部分)
-> 加完资源,可以运行场景
点击Start Scenario
二、综合场景测试设置要点
1、Continue on error:
(Run-time Settings -> Miscellaneous杂项中 Error Handling)
1)综合场景测试过程中要选择该项
2)做测试数据时(数据参数化的时候),由于要保证数据成功,失败应及时停止场景,所以该项不要选择
2、模拟浏览器的Cache: 缓存
1)综合场景中如果严格测试,不选择
2)如果做测试数据,利用Cache容易成功,需要选择。
3、监控资源时,添加一些:Page reads/sec 页面读取率
思考:正常的性能测试,两人参与:
一人负责场景的启动;一人负责监控Linux的系统资源
问题:是场景先启动,还是Linux系统资源监控先启动?
4、在场景启动之前,服务器资源监控应该提前启动。确保资源(服务器)连接无误后,再开始场景。
5、在综合场景启动时开始,要密切关注,必须保证所有用户全部上线(登录成功),才称为多用户在线综合场景。
6、当所有用户上线后,也要密切关注,控制台中各个主要的图表,当图表走势不正常时,代表系统不稳定,要及时查找原因,如果是综合场景设置的问题,甚至是脚本的问题,要及时停止场景,调试后重新测试。
场景运行结束后 -> 打开Analysis -> 将结果文件保存:
result/day06/11用户综合场景_reg 后续还会分析
关注:
Transaction:
Transaction Name 事务名称
Minimum 最小值
Average 平均值
Maximum 最大值
Std. Deviation 标准方差值
90 Percent 90% 响应时间
三、报告讲解
1、90 Percent响应时间:表示该组中90%的用户都能在该时间内响应(完成该操作)
90 Percent 表示90%的用户在 0.xxx 秒内完成操作
可以通过Properties中 Percentile 90
可以修改 -> Additional Settings -> Transaction Percentile
若改为80,表示80%的用户。 再改回90%
2、一个事务,100用户执行,其中一个用户执行时间1000秒,其他99%的用户响应时间为0.001秒。
则该情况下90% 和 平均响应时间 哪个更准确? 90 Percent
3、标准方差值:越小越好。越趋近于0,表示所有用户执行该事务的响应时间越接近,表示系统越稳定。
(数学中知识)
Mininum Average Maximum Std.Deviation
0.203 0.313 0.404 0.095
说明前面几个值比较接近,比较稳定。
4、网络带宽充足的情况下,当吞吐量(Throughput)随着点击率(Hits per second)的升高而升高,说明AUT的服务器处理能力充足。
高级部分再继续分析结果报告。
四、LR流程
1、性能测试的基本概念
2、LR的三大组件协同工作(基准测试、并发测试、综合场景测试)
3、三大组件:(加* 表示高级部分 **扩展部分)
1)脚本生成器(录制、事务、检查点、并发点、参数池、参数池策略*、关联*)
后续详细讲解:参数池策略、脚本关联技术
2)控制台(基本参数设置、后续细化研究*)
3)结果生成器(简单查看结果[服务器资源分析*]、性能测试综合分析*--瓶颈定位*--性能调优*)**
4、整个系统的性能分析 **
五、为了使网站的页面响应速度更快,可以将页面中图片、视频、音频等元素尽量减少,进而减少客户端向服务器的访问次数,减少传输信息,加快访问速度。
六、脚本录制
1、选择协议,如果正常协议(Web)无法成功录制脚本,可以根据系统(如C/S系统),选择Winsock协议(万能协议)。
说明:C/S系统越来越少,逐步被B/S取代,大部分都是Web项目
测试脚本的主要部分: 4部分
vuser_init 初始化 仅执行一次
Action 核心脚本 可多次
vuser_end 结束脚本 仅一次
global.h 头文件 包含重要函数的声明
2、LR的脚本中Action越少越好,便于性能分析。
对比:QTP中的Action较多,因为功能多
3、性能测试中AUT的服务器(应用服务器、数据库服务器),要分开部署。
原因:便于性能分析,大多数问题一般是数据库服务器的性能问题
案例(了解):录制多Action 将多个功能放在不同Action中
思路:边录制边添加
New -> 改为vuser_init -> 输入jojo和bean -> Login
-> 点击按钮 Create New Action 增加Action -> 修改名字 buy
-> 开始订票 选择城市 -> continue -> continue -> continue
-> 再加一个Action 修改名字scan -> 点击 Itinerary 浏览路线
可以继续添加...
-> 退出系统 -> 关闭浏览器 -> 结束录制
4、VUG中窗口内容:
1)脚本(上部)中记录的是客户端的请求。
(请求:网页、图片、链接、表单提交)
2)Replay Log: 记录脚本回放(执行)日志。(较常用)
3)Recording Log: 记录LR客户端和服务器二者之间对话的数据包大小。 (较少使用)
4)Generation Log: 记录LR客户端和服务器二者之间全部对话。
(关联技术时经常使用)
说明:Correlation Results 自动关联是的结果 (关联时介绍)
5、脚本中的LR函数,LAST是函数的结束符。
作业:
1、综合场景测试(课上练习:按照场景方式--最常用、重要)
10用户综合场景、11用户综合场景_reg
2、知识点复习:基准测试、并发测试、综合场景
3、预习参数池策略
4、重要的笔试题
笔试题:
1、LR脚本为何要做检查点?你能写出的检查点函数?
(文法:LR执行报告中显示Pass,是否说明脚本执行正确?)
LR执行报告中的Pass只表明服务器已经接收到客户端请求包,并且提供应答信息,
但是信息中内容是否正确,则无法确定。所以需要用户手工(写函数)验证页面中内容的正确性。
检查点函数:
web_reg_find("Text=xxxx", LAST);
web_reg_check();
LR函数、含有reg字样,注册性函数,写在相应请求之前。
ss
2、如何让一半的用户实现并发?
思路:并发测试的策略选取
并发测试:特点是让多用户 形成一个瞬时的压力,是严格的测试。
先设置集合点,之后在控制台场景中设置并发策略。
1)选择第一项:设置50%用户
2)选择第三项:设置固定用户数
集合点函数:lr_rendezvous("名称");
LR函数、必须写在Action中,在事务开始之前:
lr_start_transaction("事务名称");
3、参数池的策略?(HP公司)
4、Think time和Pacing值的区别?
Think time:一个是步骤(请求)之间的间隔;
Pacing:一个是迭代之间的间隔(Action脚本),单位都是秒
5、写出这4天学习过程中还不清楚的地方?
性能测试的策略
基础测试:单用户测试
方法一:设置循环次数5次
Run-time Setting 中的设置
a)Run logic:循环的次数--设置5次
b)Pacing:两次循环之间的时间间隔--随机2-4s
c)Tink Time:思考时间,忽略
监控资源:服务器的资源
客户端的资源:自己随时把握一下即可,不要成为测试的瓶颈即可,各项资源正常
方法二:持续运行1分钟
Duration和Run-time Setting中的Run logic;前者优先级较高。二者循环的都是Action
a)Duration设置1分钟
b)Run logic:--设置1
c)Pacing:随机2-4s
d)Tink time:忽略思考时间
并发测试:多用户测试
1)脚本中
a)录制需要执行并发测试的业务脚本
b)把关心的业务操作放在事务中
c)在事务之前添加集合点
d)添加检查点,验证脚本的正确性
e)保存脚本,编译调试脚本
2)控制台设置
a)把调试成功的脚本添加到控制台中
b)设置5个VU
c)设置并发策略,选择第一项(设置n%的用户到达集合点时开始并发执行)
3)Run-time Setting –忽略思考时间
综合场景测试注意要点?(整体策略)
1)没有特殊说明,则为在线的综合场景测试
2)所有的用户都要成功登录(上线)
3)多个脚本,要超过3个脚本
4)要运行一个小时左右(长一些)
5)要添加think time(转移到事务范围之外)
注意:如果系统不能够支持要求的用户数,即无法保证所有用户成功登录,就无需继续测试。