如何评估ad hoc测试
Ad hoc测试，也有称作exploratory 测试，是凭着测试人员的直觉来进行测试。没有test cases，主要是即兴进行一些测试。当我刚开始从事测试这一工作的时候，我的lead让我做ad hoc测试，我很茫然，我周围也有同事很高兴，他们觉得可以自由安排自己的时间，当时我就体会到很难评估一个人做ad hoc测试的情况，如果有的人很认真的去做ad hoc测试，一天也没有发现问题，而有的人也许只用了一天的很短的时间去做ad hoc测试，反而发现了一个bug….如果要评估这两个人的ad hoc测试呢。在此翻译Jonathan的文章,《how to measure ad hoc testing》希望能有所收益。
一种解决方案是进行ad hoc测试in sessions.其中包含四个部分：
1) 与测试任务绑定的(chartered)
2) 时间期限(Time Box)
3) 检查结果(reviewable result)
4) 测试报告(Debriefing)
翻译后才发现自己英语水平有限，有些词语翻译成中文真的很别扭，比如session，比如session sheet。还是找到了Jonathan的另一篇文章，《session-based test management》，关于一些词里面有详细的解释：
What we call a session is an uninterrupted block of reviewable, chartered test effort. By “chartered,” we mean that each session is associated with a mission—what we are testing or what problems we are looking for.
By “uninterrupted,” we mean no significant interruptions, no email, meetings, chatting or telephone calls.
By “reviewable,” we mean a report, called a session sheet, is produced that can be examined.
Charter：清楚的任务描述
· Charter建议测试什么，怎么样测试以及像发现什么样的问题；
· Charter并不是个详细的计划
· 一般charter都是开始测试必需定义好的
· 详细的charter可以更好的提供测试的重点，但是制定那样的规则需要投入很多的精力
Time Box：固定的时间期限安排ad hoc测试
在Jonathan的team,一般sessions 是一个半小时，允许有误差。如果是一个接近45分钟的session,被称作short session，如果接近两个小时的session，被称作long session。原则一个工作日，一个测试人员完成的session不超过三个。
Debriefing：评估来源于观察
· Test lead或manager应该review session sheet
· Test lead或manager应该了解session report的内容，以及对一些tester进行某些辅导或给出建议和反馈
· Review所有session sheet后，调整charter，扩展session…
Test lead or manger 如何进行debriefing
除了Review session sheet，还有“PROOF”原则：
Past: 这个session做了什么？
Results：这个session完成了什么目标？
Obstacles：遇到什么阻碍或困难？
Outlook：有什么还要关注的？
Feelings： 测试人员关于这个session的感想？
Session report/sheet包含的信息
· Session Charter(包括测试的概述以及测试覆盖的部分)
· 测试人姓名
· 测试的起始时间
· Task break down(任务分解，包含三项任务：
a) Test design and execution：测试产品，寻找问题
b) Bug investigation and Reporting：
c) Session setup：问前两个任务的完成所做的任何准备工作，包括设备的配置，素材的准备，阅读手册等等
· Test note(可以记录session 中发生的任何有关测试的信息，包括测试用例的想法，风险列表，功能列表等)
Example session sheet
| Charter |
|||
| Analyze Gallery view functionality and focus on stack view and Grid view,report on areas of potential risks. |
|||
| Areas |
|||
| OS |
|
||
| Test Strategy |
Function testing? Performance Testing? |
||
| Sart Time |
|
Tester |
|
| Task Break down |
|||
| Task List |
Duration |
Info |
|
| Test design and execution |
|
|
|
| Bug investigation and Reporting |
|
|
|
| Session setup |
|
|
|
| Test Note |
|||
| Suggestions and Ideas |
|
||
| Outstanding Issues |
|
||
| Risks |
|
||