【用户研究】【实战】——“得到”APP 可用性测试
得到APP简介
得到APP是由罗辑思维团队推出的主打付费知识音频服务的APP，通过订阅专栏、音频课程、拆书解读等方式为网友每天提供有价值感的知识内容，主要模块有「每天听本书」、「订阅专栏」、「大师课」、「精品课」和「电子书」等。
补充说明
在设计师完成某个页面后，设计师和维护人员通常需要对界面进行可用性的检查和评估。在设计周期初期用户量不多的时候，常用的评估方法主要有启发式评估、可用性测试。
启发式评估即找几个评审员根据一些可用性理论和以往的设计、使用经验来判断产品界面的可用性问题。可用性测试即让用户通过模拟现实生活中的使用情境来使用产品，从而设计师可以观察到用户使用时的操作绩效和表现出的感受和体验。一般而言，用户操作绩效可以通过三个指标来进行评估：操作完成率，完成时间和完成路径。本次对得到APP进行可用性评估采用的是可用性测试的方法。可用性测试除了以上的客观操作指标外，还通过出声思维的方式采集用户认知过程作为补充。
出声思维即让被试在测试的时候言语报告其思考，使得思维过程外显化，能够被直接观察。可用性测试中的出声思维要求被试在完成任务的同时以口头言语的形式报告出任务操作情况，可用性测试专家通过对被试报告内容的分析，可以获知被测系统中存在的问题、哪些部分常为被试所忽视或误解以及被试对使用系统的看法等。
可用性测试
1. 任务设计
在进行任务设计前，首先梳理了得到APP的产品结构，如上图所示。由于时间和技术条件有限，本次只对该APP的核心模块进行测试，如「每天听本书」、「订阅专栏」、「电子书」等，主要测试各模块下的内容搜索/查找、内容的可用性、使用效率和满意度。一共设计了13项任务，具体任务清单不在这里公开。任务设计遵循以下三个原则：
- 从用户的角度出发：用户界面最重要的作用是支持用户达到自己的目的，而任务就是用户的目的，所以要根据用户的目的设计恰当的任务；
- 明确的起点和任务目标：用户测试中最重要的是"用户是否可以完成任务"，因此要明确定义目标。有时候任务相同，如果目标不同，测试目的也不大相同。同样，也要注意定义任务起点；
- 剧本化：尽可能自然地引入测试任务。实际使用时，用户会有自己的理由和目的，但测试中不是这样的，如果没有动机，用户就不会主动行动，而是等待指示，因此要追加一些假设的情境，把任务润色成故事，用户就可以通过自己以往的经历，带着生活实感，更主动地使用产品。
2. 测试流程
整个测试一共包含3个流程，依次是事前访谈、任务测试、事后访谈。我们对整个流程设计了执行指南，执行指南详见附录B。
事前访谈
事前访谈主要包括：1) 取得录像/录音许可，签订信息保密协议；2) 被试信息的采集，主要包括个人基本信息、相关APP的使用习惯、感兴趣的知识领域等，我们会根据相关信息，调整任务的情境；3) 对被试进行事前说明，并进行出声思维的训练。详情见附录B。
任务测试
事前访谈结束后，我们根据事前准备好的执行指南让被试进行任务测试。在整个任务测试过程中，用户被试是主角，我们则是隐藏的观察者，我们的任务是正确传达任务指示，让被试了解任务目的，并在一个任务结束后引导被试进入下一个任务，遵循“不提问、不回答、不注视”的原则，对被试提出的要求只能是“请认真完成任务”，在原则上不给用户任何帮助，对用户的操作不肯定也不否定，确保被试自由发挥，独立完成任务。在所有测试任务结束时，我们让被试填写SUS可用性满意度问卷。
- 测试设备：为了保证用户在测试过程中不会因为对测试设备的不适应而影响任务进行，在设备有限的条件下，我们采用被试自己的手机作为测试设备 (测试前下载好得到APP并进行了注册)。
- 测试道具：任务信息卡（主试在给被试传达任务指示的同时提供任务信息卡，卡片上有任务背景、任务目标等信息说明，以保证在测试进行时，被试不会忘记当下的任务目标）
- 数据采集：1) 主试的观察记录，为事后访谈提供参考信息；2) 手机录屏、录音，供事后分析使用。（如果条件允许，推荐使用便携式眼动仪）
事后访谈
在实际操作中，由于各种各样的原因，被试往往未能发言说出思考的内容，我们并不能获得完整的信息，这些遗漏的信息将在事后访谈进行补充。这里采用回顾法(回顾法 Retrospective Method) 对被试进行事后访谈，访谈的主要内容包括：
- 测试过程中被试未能发声的问题
- 测试过程中遇到的困难细节
- 其他疑问以及对产品的建议
3. 测试结果
被试基本信息
从XX大学招募了5名被试，包括3个iOS用户，2个Android用户，4女1男，年龄都在18~24岁之间，可支配收入大概都是2k左右。其中：
- 4人未曾使用过得到APP，主要使用的相关APP有喜马拉雅，知乎live等
- 在功能使用方面，主要是听音频。包括听故事、小说，TED、相声，或者其他知识音频等；使用频率方面，听的时候每周大约4~5次，都是高频用户。1人是得到APP的忠实用户，大概至少2天听1次；他们感兴趣的知识内容包括科学科普，经济学，AI，历史，生命科学等等
- 所有用户都对知识付费有所了解
任务完成概况
统计了每一个被试的任务完成情况，主要包括1) 是否完成任务设定的目标；2) 每一个任务起点到任务目标的平均跳转次数；3)平均耗时等，具体结果不在这里公开：
问题统计
根据被试的任务完成情况以及事后访谈所反馈的信息，整理了这5个被试在测试过程中遇到的问题(这里不公开)，为了保证准确性，我尽量还原了被试对问题的描述。
随后我把被试反馈的问题按性质分成了三类：可用性问题、效率问题、满意度问题。结合这些问题发生的频数，我对这些问题进行了影响度分析 (见下表)，问题影响度主要反映了问题的严重程度和待解决的优先级，其中：可用性问题＞效率问题＞满意度问题；高频率＞中等频率＞低频率
| 发生频数 |
可用性问题 |
效率问题 |
满意度问题 |
| 高 (3-5) |
|
|
暂无 |
| 中 (2) |
|
|
|
| 低 (1) |
听书/电子书不能试听/读； |
|
|
注：得到APP的核心需求是提供优质的内容，但这里只关注并解决交互设计相关的问题 (排除战略和技术层面的问题)，因此在后续的解决方案中，只筛选出相关问题进行解决。
可用性满意度
整体满意度评价使用了SUS量表 (见下表)，内容如下：最后计分得到59.2，根据量表评分经验（60分为临界），由此可见用户对得到APP的可用性不太满意。
SUS可用性满意度量表：
| 题目及序号 |
1=非常不同意，5=非常同意 |
| 1.我愿意使用得到 |
2.6 |
| 2.我发现使用得到很复杂 |
2.2 |
| 3.我认为使用得到很容易 |
3.0 |
| 4.我需要专业人员的帮助才能使用得到 |
2.0 |
| 5.我发现得到的各项功能都能很好的整合在一起 |
3.0 |
| 6.我认为得到的使用过程中存在大量与我的想法不一致 |
2.8 |
| 7.我认为大部分人都能很快学会使用得到 |
3.6 |
| 8.我认为得到使用起来比较麻烦 |
2.4 |
| 9.使用得到的过程中我很有信心 |
4.0 |
| 10.使用得到时我需要大量学习 |
2.2 |
4. 问题分析
根据任务完成一览表，可知被试没有达标的任务有1-1、3-1、6-2、7-2、8-1、11-1。这里只对没有完成任务的可能原因进行了分析。
任务1-1
- 任务描述：你作为新用户，对“得到APP”还不太了解，APP里的很多内容都需要付费，所以你想先找到免费的内容体验一下，请你现在随意找一个免费的内容听一听。
- 分析：该问题有一定的偶然性。得到APP的首页排版有2种，不同时间段随机出现。如下图所示，未能完成任务的被试看见的是左边版本，它见到的第一个栏目是收费项目，且费用信息写在屏幕右侧，导致用户回拉的时候目光更多的注视在右侧搜索“免费”或者“￥0.00”等字样，此时她形成了价格在右边的认知，未能发现免费专栏的信息。
得到APP首页
任务3-1
- 任务描述：你发现得到APP里还推荐了一些电子书，你打算挑一本XX相关的电子书看看，并决定是否购买 (你的预算充足)。
- 分析：一般而言，用户找书的时候，会带有一定的目的性，可能是某一类书或者某几类书。因此在执行此任务时用户实际是在进行视觉搜索。而在这个界面中 (见下图)，没有任何的分类帮助用户进行筛选，因此在找书时，用户感知到的信息噪声过多，用户更容易知觉成“不是目标类目的书籍”；按照信号检测论，用户更容易误判信息为“不是目标书籍”而略过，用户找到目标书籍所需的时间过长，并且这个页面没有提供搜索功能，当用户经过几次尝试没有找到书也没有其他线索时，会感到挫败。
得到APP电子书模块界面
任务6-2
- 任务描述：进入“刘润5分钟商学院 · 实战”专栏界面，查看该订阅专栏的内容目录(课表)，了解一下专栏内容的具体组成。
- 分析：用户对于课程目录的认知，应该在课程介绍的页面。目前的设计中，课程目录作为课程内容的一部分，在首期内容“发刊词”内 (见下图)。必须要付费订阅专栏之后才能看到。所以用户目前只能在专栏首页只能找到类似于课程大纲这样的东西。而课程目录又是倒序排列，没有对目录进行置顶，用户进入时不一定能知觉到有目录这个内容。
订阅专栏的课程表
任务7-2/8-1
- 任务描述：你很喜欢现在听的这则内容，想收藏这则音频&现在你想回顾一下刚才的收藏的音频。
- 分析：7-2和8-1分别是收藏和查看收藏任务。收藏功能在其他APP/web中所用的符号是☆。在得到APP中，这个符号是♡，且这个符号旁边有数字，这与一般人知觉的“收藏”含义不符。实际调查中发现，用户更倾向于知觉这个符号为“喜欢”或者“点赞”。交互细节方面，用户在点击这个按钮后，除了图标变色告知用户点击生效外，没有告知用户到底发生了什么，没有起到一个防止错误作用。信息结构方面，在其他APP中，收藏常与“我的”放在一起，在这个APP中收藏放在了比较深，且与收藏相关度不高的“我的笔记”页面的角落中。用户很难知觉到收藏到底在哪里，从而反过来更不确定♡是不是收藏。
任务11-1
- 任务描述：现在是晚上11:30，你现在正在听你刚刚购买的书，你已经开始困了，怕自己听睡着了忘记关音频，想让当前音频在合适的时间关闭。
- 分析：任务中的问题与前面几个类似，即信息结构与用户认知不符。按照类似的音乐播放器的设计逻辑，定时功能在“我的”里面。在得到APP中，播放音频不需要进入播放器页面内部，只需要找到合适的收听内容，然后点击播放按钮即可。用户不太熟悉播放器页面具体有哪些功能。而得到APP的定时功能又只能进入播放器才能看见，所以用户很难知觉到定时功能在哪里。
音频播放界面
其他问题（可以完成但不是很理想）：主要有两类，一类是搜索功能的入口位置，另一类是个性化设置。信息搜索过程中，当用户进行几次搜索后没有找到相关信息，会知觉到信息噪声过多，进而寻求筛选/搜索功能。得到APP涉及到很多个内容展示列表，比如电子书列表，专栏目录等等。但这些列表并不是每个都具备搜索功能，可以说不具备内部功能的一致性。个性化设置方面，定时功能也不太符合用户的具体使用习惯。
改进方案及再测试
对相关问题进行分析后，我们对这些问题进行了改进方案的设计，并进行了在测试对改进方案进行检验。
1. 改进方案设计
任务1-1：属于商业战略问题，不在我们解决的范畴。
针对任务3-1：在“电子书”界面内增加分类和搜索，与“听书”和“商城”中的检索方式保持一致。减少信息噪声比率，使用户找书过程中更有信心，效率更高。
改进后的电子书浏览界面
针对6-2：把包含了课程表信息的“发刊词”进行置顶。
改进后的订阅专栏内容界面
针对任务7-2/8-1：a) 增加用户交互反馈——用户点击“❤”后，弹出“已收藏”字样，让用户知道这到底是什么；b) 在“我的”中新增“我的收藏”按钮，图标与爱心符号一致，使信息结构符合用户认知。
改进后的收藏反馈界面和“我的”界面
针对任务11-1中出现的问题，在事后评估时发现，这是与音乐播放器不同的两种设计方式，是否需要修改有待进一步研究才能得知。
2. 再测试
根据改进方案，我使用Axure制作了改版原型 (用浏览器打开可进行操作)，让另外的5名被试进行了二次测试，流程和原来一样，但只针对那几个问题任务进行了测试。
测试结果在这里不公开，最后的结论书：任务完成比率都达到了100%，平均跳转次数也有所降低，可用性得到提高 → 解决方案有效。
总结
虽然最终提出了一定程度上可行的改进方案，但在整个可用性测试环节中，这里仍存在以下几个问题：
- 由于条件所限，测试设备是被试自己的手机，虽然他们的手机都是同样的尺寸， IOS系统和Android系统的交互体统是有细微差别的（比如在Android手机上，可以通过点触home键返回到上一级界面；得到APP在Android系统中是没有“回到顶部”的按钮的），这些差别会导致测试结果存在个体差异；
- 被试本身对知识付费虽然有兴趣，但对得到APP或者其提供的知识内容不太了解，故在满意度方面或有一定程度上的偏低；
- 任务施测过程中，用户会下意识的浏览其他页面，并自动完成了其他任务，这导致任务难度的评估不够准确；
- 被试的出声思维能力层次不齐，真正出生表达的想法不一定符合实际，也存在旁观者偏差。
- 收集数据方面，由于设备限制等因素，这里使用了手机录屏+录音的方式进行，可以参考的信息有限，并且准确性有待提高。虽然在测试过程中操作了任务的起点，但在数据统计时很难知道被试在操作过程中真正的起点，所以任务耗时只是一个估计的数值；此外由于在测试时，其中一个被试不愿意开启手机的“勿扰”模式，导致在来电时录屏中断，部分数据丢失；今后的测试可以加入眼动仪，能得到更多信息。
参考文献
- Brooke J. SUS: A quickdirty usability scale[J]. Usability Evaluation in Industry, 1996, 189.
- 樽本徹也. 用户体验与可用性测试[M]. 人民邮电出版社, 2015.
- 约瑟夫·杜玛斯.可用性测试——交互理论与实践[M].国防工业出版社,2016.
=>回到目录