用户研究|用户满意度评估模型搭建和检验方法探讨

用户满意评估的价值

用户满意度反映的是用户的一种心理状态，是用户对其明示的、隐含的需求和期望被满足程度的主观感受。用户满意度评估对企业生存和产品体验升级都有重要的意义：一方面，随着移动互联网人口红利逐渐消失，手机应用获取新客的成本和难度变得越来越高，通过提升用户满意度充分激发现有用户价值成为企业非常重要的商业策略。
美国顾客满意度指数ACSI数据表明，用户满意度的提升能带来用户消费频次的增加，同时也会为企业赢得更高的声誉，带来拉新、促活成本的降低。此外用户满意度通过度量产品体验现状和迭代动作有效性，对助力产品体验提升起着重要作用。

搭建用户满意度模型的步骤

用户满意度模型构建流程分为「明确目标」「指标收集」「指标定义」「指标归属」「指标赋权」5个步骤。

Step1 明确目标

明确评估目标包括明确评估用途和范畴，用户满意度评估的用途不同，在评估侧重和衡量方式上会有不同。
如衡量产品改版效果的用户满意度侧重关注改版目标是否达成，更关注改版前后影响体验目标达成的体验点变化。用于摸底产品体验水平的用户满意度侧重了解产品对用户需求和期待的满足情况，更关注产品自身体验长短板以及相较于其他同类产品体验优劣势。

Step2 指标收集

用户满意度指标收集可结合案头侧、用户侧和专家侧三方信息获取：

• 案头侧指标收集方式主要是案头研究和产品走查。案头研究可重点关注成熟评估模型以及行业趋势、产品模式和用户需求分析报告，结合对产品的走查分析，提炼“高的产品体验”需要包含哪些要素。常用的案头研究渠道和可查询的信息如下图：

• 用户侧指标收集方式主要有用户座谈会和客诉反馈，座谈会把目标用户邀请到一起畅谈对产品的需求和期待，邀请对产品使用程度较深的“专家级”哟慕尼黑个湖能贡献更多有效信息。另外客诉反馈也是能集中了解用户对产品关注点和痛点的数据渠道。

• 专家侧指标收集方法主要是专家访谈，通过向专家了解产品目标、目标实现方式及后续主要动作来拆解对当前产品体验重要的维度和指标。专家访谈需要覆盖到能决策产品方向的人，且专家职能身份尽可能的多样化，如覆盖产品、运营、设计、技术、市场等不同职能角色。
  

Step3 指标定义

给指标下定义需考虑指标的体验标准高低和文案描述两方面：
体验标准选择要符合产品本阶段的目标，指标描述一般要遵循通俗性、简洁性和单一性原则：

Step4 指标归属

将定义好的指标进行维度划分与归属来构建评估模型。维度初步划分有「用户接触产品的触点」和「产品功能模块」两种方式。模型构建都需要遵循“完备互斥”原则，即指标既齐全不遗漏，也没有重复。

Step5 指标赋权

同评估指标的重要性程度不一样，
在完成评估模型搭建之后，需要赋予评估指标权重，指标赋权的方法按照打权重的人不同可以划分为专家赋权和用户赋权两大类：

• 用户赋权是根据用户对某个体验点（指标）满意度打分和对产品整体满意度打分之间的关系测算出来的间接赋权方法，体验点满意度分数变化对产品整体满意度分数变化的解释程度越高，体验点对应的指标权重就越大。常用的指标赋权方法有“线性回归”、“因子分析”和“结构方程模型”。
• 专家赋权是领域专家，如产品、运营、设计等对指标重要性进行主观判断，因此又叫直接赋权法，常见的直接赋权法有“直接评定法”、“分值分配法”和“层次分析法”。“直接评定法”就是专家逐个判断指标重要性，“分值分配法”是预先给定所有指标一个总分，专家把总分分配到各个指标上，“层次分析法”是专家对指标重要性进行两两对比，因为能更好地在对比过程中帮助专家理清指标的相对重要性，层次分析法是专家赋权中更为常用的方法。
  

其中用户赋权反映了用户对评估指标所反映体验点的需求强度，在初次搭建模型对用户需求强度优先级不明确时可以考虑使用，但用户赋权受产品现状影响较大，产品当下已经成熟和形成规模的方向更容易获得较高权重，而对产品未来重要但目前规模较小的方向权重则可能较小。专家赋权反映专家对产品现状和产品未来方向的综合判断，可以在产品较为成熟或开始尝试创新方向时考虑使用。

用户满意度模型的检验

模型检验分为「指标内容检验」和「结构归属检验」两类：

Step6 模型检验

• 指标内容检验
  指标内容检验关注指标描述对想要评估体验点的符合程度和可理解性，即指标的内容效度。
  指标内容检验可通过领域专家完成，邀请至少 3 名以上专家对指标内容有效性、易理解性等维度打分，专家一致评价为符合的指标占比即为模型内容效度（ S-CVI ）。对于专家认为不符合或专家打分不一致的指标需要咨询专家具体原因并作出适当修改。一般而言专家一致评价符合的指标不应低于 80 %。常见的指标内容问题包括指标描述未能准确概括体验点、指标描述有歧义、指标定义的体验标准不合适等。

  
  

• 结构效度检验
  结构归属检验是判断评估指标与想要测量概念（归属维度）之间关系的方法，判断归属关系的方式有看同一维度下指标间的相关关系，指标对测量概念的解释程度等。常用的结构归属检验有同质性α信度检验、探索性因子分析和验证信因子分析。