可用性测试(Usability )规范手册

数据来源:互联网整理

一.可用性测试介绍

1.可用性测试的定义

可用性测试(Usability testing),是一项通过用户的使用来评估产品的技术,由于它反应了用户的真实使用经验,所以可以视为一种不可或缺的可用性检验过程。也就是说,可用性测试是指让用户使用产品(服务)的设计原型或者产品,通过观察,记录和分析用户的行为和感受,以改善产品(服务)可用性的一些列方法。它适用于产品(服务)前期设计开发,中期改进和后期维护完善的各个阶段,是用户中心设计的思想的重要体现。

第一次有记录的可用性测试出现在1981年,经过三十多年的发展,可用性测试已经成为产(服务)设计开发和改进维护各个阶段必不可少的重要环节。它的价值在于初期及早的发现产品(服务)中可能会存在的问题,在开发或投产之前提供改进方案,从而节约设计开发成本。而在产品(服务)的销售疲软或是使用过程中出现问题却无法及时精确的找到问题关键时,可用性测试可以在很大程度上提高解决问题的效率。通过可用性测试不但可以活着用户对产品(服务)的认可程度,还可以获得一些隐含的用户行为规律。

长期的可用性测试实践证明5名参与者就能找到75%的可用性问题,由上图可以看出,在第5名用户之后,发现的问题增长趋缓。增加用户的数目来探索更多的可用性问题意义不大,因此通常选取5-7名用户来参与可用性测试。

2.可用性测试设备介绍

可用性测试中需要搜集各类数据以便后期分析,所以通常在实验室进行,并选择合适的工具来协助。

实验室通常包含测试室和观察室。测试室供主持人和用户使用,额外情况也会有观察记录员或者速记员在内。观察室供观察记录员、产品开发人员及其他相关人员使用,在不打搅用户的情况下观看测试过程。

实验室的基本设备有视频、音频,包括高清摄像头、麦克风、后台的功效、调音台、视频混合器等。尤其注意的是饮品系统需要支持铜川翻译,两个声道分别支持测试现场原声和翻译声音。还可配备投影仪或高清电视机,播放一些视频资料。

根据测试产品的需求,还可以配备以下设备:

(1)计时工具

可以直接用秒表。更严谨的使用一些软件,在点击开始计时时,会发声进行倒计时,3、2、1,让用户和主持人队开始时间有共识,随后操作结束时,按停止按钮结束。软件会按顺序自动记录每个任务操作时间。

(2)Morae

Morae是应用非常广泛的工具,安装在电脑上。它适用的对象是PC产品和网站。安装在测试端的软件可以捕捉用户操作轨迹,页面停留时间,并拍摄用户的面部表情。而安装在检测段的软件可以让观察记录员随时进行备注和打标签,最终输出的数据非常丰富。

(3)Noldus运动轨迹采集系统

在天花板上安装的采集设备加上后台的数据采集系统,可以锁定目标对象的移动轨迹、距离以及实践等。在键盘机时代经常会采集手指在手机键盘上移动的轨迹和距离来比较各个查票之间的硬件工业设计的合理程度。

(4)MDC(Mobile Device Camera,Noldus出品 )

这个设备是配备手机可用性测试使用,可以卡在手机上进行收集操作的拍摄,后台进行视频数据采集。

(5)眼动仪

眼动仪用于采集人们注视某个对象的时间长短以及眼睛移动的轨迹。比如网页阅读测试,可以通过眼动仪采集眼睛在网页上移动的轨迹和停留注视的热点区域,以此结果判断哪些位用户首先扫视的区域,哪些事用户重点观看的区域,二哪些是用户容易忽略的区域。

以上是固定实验室的介绍,有时会在其他场地进行可用性测试的需求,这时可以配备便携式可用性实验室。

便携式可用性实验室一半配有摄像机,三脚架,麦克风,耳机,数据线,状语数据采集软件的笔记本电脑等方便携带安装的设备。

二、可用性测试流程

为了尽量避免可用性测试中一些认为因素的变动二导致测试结果出现偏差,为此特定制可用性测试流程规范,最大限度控制影响因素,以求达到最佳测试结果。

可用性测试流程分为可用性测试前的计划部分和可用性测试的实施部分。

1.测试前的计划流程

(1)计划测试项目

该阶段需要确定项目的时间要求,典型的可用性测试,需要1-2周的前期沟通和准备,1周时间进行招募工作,1个星期测试,2个星期进行数据分析和提交报告。根据测试的内容及项目规模作调整。

(2)定义测试的目标和范围

该阶段需要和测试委托方进行沟通,确定测试的目标和对象。比如手机测试,测试目标为验证验证客户出品的手机输入法效率,测试对象为3款茶品(具体型号),测试范围为输入法的中英文、富豪、手写等各类输入法官法。

(3)定义参与测试的目标用户

该阶段需要确定目标用户的特点,包括生理特点、社会特点以及设备使用经验等。还有各类用户的比例。

甄选标准内举例:年龄18-35岁,本科学历,家庭收入20000以上,和朋友聚会次数每周均为3次及以上。每天上网时间超过6小时,使用手机为iphone6s等。

(4)招募用户

该阶段根据目标用户的遴选标准进行招募,不招募近6个月内参观过类似活动的用户,不招募媒体、竞争对手等从业用户;不招募“会虫”类无效用户。根据招募用户数量,需要多准备10%的预备人数。

(5)选择测试任务

该阶段工作在于熟悉产品,并和测试委托方一起选择测试的任务。需要同时考虑委托方的需求和用户实际使用的主要场景和任务。

(6)撰写测试任务脚本

该阶段将之前选择的测试任务变成脚本,应尽量使用用户语言描绘一个熟悉的场景,再将任务融入进去。任务越详细越好。需要为用户单独准备任务卡片,供用户阅读使用。一个任务发放一个卡片,不嫩一次全部给用户。

任务脚本通畅含有知道鱼、测试前问卷、正式测试任务、测试后问卷四个部分。

(7)确定可用性测量维度

根据本次测试的目的来确定测量维度。典型的可用性测试会采用以下一些测量维度:任务操作的完成时间,任务操作成功率,任务出错率、帮助次数等定量指标,也包括任务操作前的用户期待、任务操作后的用户评价、用户满意度等定性指标。如果是特定的产品,比如手机任务的操作,还可以采用路径操作数、路径拟合度数据指标。

下面列举几个常用的指标:

1)任务操作的完成时间,是指从任务开始操作计时,到任务结束停止这一段时间,测量单位精确到秒。通畅以用户博阿高开始或者结束作为标准。该数据可衡量任务的难易程度。

2)任务操作成功率

任务操作成功与否分为三种情况,一是顺利完成,二是帮助下完成,三是失败。将前两种情况都定义为成功统计总数,除以总人数,就是该任务的成功率。该数据可衡量任务的难易程度。

3)任务出错率

记录每个任务操作过程中的错误步骤,除以总的错误数目,就可以得出每个任务的出错率。

需要注意的是定义好何为错误,应将任务的关键步骤中关乎的重点定义为错误,忽略用户的误操作。

4)帮助次数

是指用户从主持人那里寻求帮助,通常不能超过3次,超过3次以失败记录。

5)路径操作数

测试手机的流程设计,可以使用这个指标。将用户操作任务的路径数目记下来,统计之后可以得出流程设计是否合理。

操作路径的定义比较繁琐,一是可以将任务的最小一步操作为最小单位,比如点击,输入等;而是如果步骤过多,可以在委托方、主持人、项目经理达成共识情况下进行合并,以关键路径作为最小单元。

6)路径拟合度

同样应用在手机上,将设计师的流程设计定义为标准,把用户操作的路径数据记录之后,将之进行匹配。两者相除可以得到路径拟合度。也可以进行同类设计之间的比较,找到最合理的设计方案。

(8)准备测试材料

测试材料根据项目具体情况准备,包括脚本、各类问卷等文档;还有测试需要用的测试设备,如手机;如果是产品概念,还需准备测试原型。

(9)准备测试环境

测试可以在专业实验室进行,也可以在普通会议室,设置有可能在室外进行。专业实验室需要检查视频、音频、以及专用测试系统(如Morae、Nodules)是否正常,以及观察室的使用,观察室与测试时之间的沟通(有时会用对讲机,调节对讲机频率等)。如是普通会议室,需要确保周边安静,准备便携式摄像机以及音频采集设备。室外的设备可以参考便携式实验室设备。通常都应对测试场景进行拍照。

(10)测试团队组建

一个测试项目通常有5个角色,项目经理(与客户沟通,控制项目进度)、主持人(负责撰写脚本、测试、报告撰写)、观察记录员(协助记录测试要点)、项目助手(招募用户、测试现场支持、协助数据分析)、设备管理员(调试和保证设备正常运转)。

小规模测试项目,至少需要3名成员来承担项目工作。1名资深研究员座位项目经理、主持人和报告撰写人;1名 记录观察记录员负责记录测试要点、1名助 负责招募、 现场 持以及设备调试运转等 作。

规模测试项 ,根据实际情况来确定项 参与 数。

(11)预测试

进行预测试是为了模拟真实测试过程,为测试做最后一道准备。可以检查脚本、时间控制、测试材料、测试环境等 。

预测试要求邀请真实的用户参与,整个过程和真正的测试完全一致。在真实测试的前1或2天进 ,发现问题后有时间整改。

2.可用性测试实施流程

(1)接待用户

准备好指引路牌,方便用户寻找测试地点。用户到达之后,引导用户在休息区等待,递上茶水,并告知用户多少时间后开始测试。

用户抵达后,项目助手还需要进行身份甄别,如有设备要求情用户出示设备,并请用户填写保密协议,个人信息等资料。

除此之外,还需要照顾用户的情绪。有的用户表现会比较紧张,接待人员应该解释测试的目的,告知测试的主要内容。

要最大程度的避免用户迟到,在确定用户人选后,就应电话通知测试的时间和地点,并发送短信供用户备存。如果距离测试时间较长,则需要测试前1天再次联络用户进行提醒。

(2)测试实施

测试实施的要点有:

a 热场,这时用户和主持人熟悉的过程,以保证用户在测试过程中的放松和配合状态。尤其是要向用户说明测试的是设备,而不是用户本身。

b 任务解释,任务解释是否到位,用户是否理解透彻,是任务能否顺利完成的前提。

c 节奏的控制,不能让用户随意尝试产品,并控制好测试时间

d 问题的把握,记录用户遇到的问题,并在任务结束之后进行访谈,了解问题发生的原因

(3)数据分析

采集的数据有两种,定量和定性数据。定量数据需要用SPSS等统计软件进行分析处理;定性数据则需要逐条来整理,根据任务进行问题梳理,活着根据问题类型进行梳理,根据写报告的需求来定。

(4)报告撰写

报告需要包含项目背景介绍,方法论介绍,测试结果(需分问题严重程度),专家建议等几个方面

(5)沟通测试结果

测试结束后应与委托方面对面沟通,除了汇报测试结果,还有测试中发现用户需求与产品定位不一致或其他更好的改进方案,都可以与委托方做详细交流

三、可用性测试项目管理

通常可用性测试的项目周期较短,项目管理工作并不复杂,重要的在于和客户的沟通,项目进度中里程碑的把握,以及项目质量的控制。

1.项目角色

一个可用性测试项目一般会有6个或更多的角色:

2.项目管理流程

(1)项目开始前

项目经理负责和测试委托 沟通,确定测试项 的时间、目的、对象等信息,随后组织测试团队,项目开始前召开管理启动会议。

本次会议需要确定:

1)项目每个成员的工作内容。

2)沟通和传递测试项目信息。

3)确定项目时间计划,包括招募时间安排、测试时间安排、项目输出的里程碑、和委托沟通的时间点等等。

(2)项目进行中

为确保项目顺利进行,可制定每个人员的Check- list,以确保执行过无遗漏。

1)项目经理 Checklist 户到来之前:

a 确保每位成员都备有打印文档,包括用户信息、 行程安排、测试脚本等。

b 确保每位成员都完成了他们的 Checklist 。 欢迎来参观的人员 (客户、开发人员、设计人员等)

测试过程中:

a 处理发 的任何问题。

b 注意和产品开发者的沟通。

c 关注测试产品的问题,形成 致印象。

每场测试结束后:

a 照顾来宾

b 确保有人将测试环境还原,迎接下一位用户

c 确保每场结束后完成测试小结

每天测试结束后:

a 组织项目成员讨论一天的测试工作

2)主持 Checklist

用户到来之前:

a 确认测试所需的各类材料都 备,脚本、任务卡和产品模型等

b 确认场地安排和设备已经正常运

c 确认观察记录员、同传、速记等都已经到位

测试过程中:

a 按脚本执行测试。

b 关注用户问题的背后原因

c 注意和产品开发者的沟通。

每场测试结束后:

a 和观察记录员完成测试 结。

b 和产品开发者沟通。

每天测试结束后:

a 和项 成员讨论 天的测试工作。

3)观察记录员 Checklist 户到来之前:

确认测试所需的各类材料都齐备,脚本、任务卡 和产品模型等。

测试过程中:a 记录问题 ,关注用户问题的背后原因。

每场测试结束后:

a 和主持 完成测试 结。

b 和产品开发者沟通。

每天测试结束后:

a 和项目成员讨论1天的测试工作。

4)项目助理 Checklist

用户到来之前:

a 确认测试所需的各类材料都齐备,脚本、任务卡和产品模型等。

b 确认场地安排和设备已经正常运行。

c 确认主持 、观察记录员、同传、速记等都已经到位,每人的测试材料配备齐全。

d 欢迎用户,确定用户身份。

e 请用户填写用户协议、背景资料等文档。

f 将用户按时间迎入测试室。

测试过程中:a 处理出现的突发问题。

b 与下1个用户保持联系, 确保用户按时抵达。

每场测试结束后:

a 欢送用户,并发放报酬,签署收条。

b 复原测试环境。

5)场地和设备管理员用户到来之前:

a 打开设备。

b 确认视频正常。

c 确认 频正常。

d 根据 户对录像资料进行编号。

测试过程中:

a 保证设备正常运 。

b 拍摄测试照 。

每场测试结束后:

a 保存用户资料。

b 复原测试设备。

(3)项目完成后

项目经理组织召开项目结束会议,会议内容包括:

1)传达委托方的反馈

2)总结本次工作的优缺点

3)搜集各类数据,进行存档

你可能感兴趣的:(可用性测试(Usability )规范手册)