MY DESIGN METHODS AND TOOLKIT：Evaluate

此系列将大致总结我常用的设计方法和工具，由于内容较多分为三个章节：research，design，evaluate。本篇将介绍设计验证和评估方法和工具。

其他文章如

MY DESIGN METHODS AND TOOLKIT · RESEARCH

MY DESIGN METHODS AND TOOLKIT：DESIGN

Usability

1. Usability testing

我做可用性测试大概分为几个步骤

图1 可用性测试的大致步骤

测试收集的数据和会用到的工具包括

1）用户绩效数据：任务完成率（success rate），完成时间（time to complete）

用户行为数据：participant的实际操作流程，在哪里犹豫和停顿，在分析问题时，会统计发生同样问题或困惑的participant个数

2）用户情感数据：可使用情绪卡、情绪轮盘等，请participant标记自己完成每个任务后的情绪，并说明原因

3）用户态度和反馈：要求测试者think out loud，结合他停顿和困惑处，我们可以分辨问题为何

4）整体可用性分析SUS：所有任务完成后填写，总体评价整个系统。

2. Usage inspection

不同于可用性测试会邀请真正的用户，设计专家也可以根据一些准则对系统进行走查评估。

1）heuristic evaluation

在邀请真实用户做可用性测试之前，一般会根据一些可用性原则，让设计专家就几个方案分别对每条原则打分，初步判定可用性问题。常用的原则如尼尔森十大可用性原则。

一般会邀请3~5个专家，先各自根据原则评定系统、收集问题，而后汇总讨论，综合各方观点给出综合评价，整合发现的优点、问题、问题的优先级、和优化建议方向。有些问题可能在专家组内无法达成一致，将会式可用性测试或其他真实用户介入的测试的重点，来进一步验证效果。

2）cognitive walkthrough

在研究阶段设计师会对自己进行同理化，形成对用户偏好和行为方式的认知，带着这些认知，将自己模拟成真实用户，根据用户目标设定任务，来检查设计的系统。一般做CW的时候我会用一个辅助表格，里面有一些引导问题来诊断操作的每个阶段，包括触发、步骤指引、导航、反馈等。

CW同样也需要多个design expert介入，并共同讨论得出结果和优化建议。

3. First click testing

FCT是方便快捷的测试数字产品导航可用性的方法，一般有了正确的开始，任务成功的可能性会很高（87%），用户体验也会好（更自信）。FCT就是测试用户为了完成某任务的第一步有没有做对，相比于正常的usability test要走完全程，FCT操作上更轻便。

工具：https://usabilityhub.com/product/first-click-tests

4. Tree testing

像card sorting的逆流程，用于测试信息架构是否合理。进行tree testing的时候会有一个或多个架构方案，想word大纲一样将产品架构和信息层级列出，让用户根据任务描述找到对应的内容标题。

在测试过程中，如可用性测试类似，需要记录用户绩效（完成率和完成时间）和用户行为（在树上的行动路线，犹豫和折返）。

5. Web/App analysis

页面分析是设计验证最常用的方法，也是调研时发现问题的重要手段，能观察用户与产品的真实使用方式和交互路径。

6. A/B Testing

对多个变种方案或细微调整，通过实际投放测试，收集转化、留存等数据，评定各方案优劣。

需要注意的是，分析数据时不只要关注目标指标，方案对其他指标是否有不良影响也需关注。

Overall experience

1. Experience simulation

借助prototype模拟设计概念中的体验或一些关键节点，邀请用户真实感受设计方案，并结合结构性采访，收集反馈以供方案优化和评估。

2. Emotional testing

借助一些情感度量工具，如情感轮盘、情感卡片等，在完成任务或体验结束后，请被测试者在轮盘上标记他们的情感，或挑出符合他们当下情感的卡片，并说明原因。使用度量工具都是为了帮助人们辨识和描述自己的情感，在这里情感主要起触发器的作用，作为连接实际体验和反思的桥梁。

3. Satisfaction survey

目前我们会每个季度做一次满意度调研，以评估商家的满意度变化，和集中收集问题反馈。

满意度有很多种问法，像是否愿意推荐给他人（NPS）、是否愿意继续与平台合作、是否会续费等等。根据实际的产品特点和场景变换问法，有时候比问是不是满意更有针对性。

4. Eye tracking

眼动能收集到几个方面的信息

1）视线动线：用户如何浏览页面

2）注意力：用户看了什么、停留多久

了解用户如何浏览和注意哪些区域，可以对照分析：

*了解用户如何使用页面、决策过程

*了解用户注意力如何在页面上分配，哪些是视觉高频区域，哪些区域没有被注意到

*检验设计希望强调的内容是否能吸引用户注意

需要注意的是，有时用户注视到了某区域，并不意味着他注意到了、或能正确理解了传达的意思，对于一些重要信息和区域，通常也会结合后续测试，如给用户一些元素让他们辨认哪个在页面上出现过，让其描述这个元素代表的意思等，以检验页面的可用性。