#数据QA分享# 论数据质量问题

在如今火爆的数智化时代,企业都在利用大数据创新业务、获得价值;然而,数据能否更好的赋能业务,取决于企业数据质量的好坏。好的数据质量,经过数据分析、挖掘、机器学习等手段,可以更好的辅助业务决策、帮助企业降本增效;差的数据质量,从数据中获得的价值有限,甚至会误导做出错误的业务决策,从而给企业带来灾难性的后果。
那么,一个企业的数据质量如何,如何评估?常见的数据量问题都有哪些?这些问题是什么原因造成的?

数据质量评估维度

在评价企业数据质量的好坏时,首先需要定义评估的维度,通常较为重要的数据质量维度有以下6个:

  • 数据唯一性:
    是指数据唯一,不存在重复记录。即:不会出现一物多码,一码多物的情况。例如:主键唯一性,同一个ID不会重复记录。
  • 数据完整性:
    是指数据在创建、处理流转过程中无缺失和遗漏,包括实体完整、属性完整、记录完整和字段值完整。例如:员工的工号不可为空。
  • 数据准确性:
    是指真实、准确地记录原始数据,无虚假数据及信息。数据要准确反映其所建模的"真实世界"的实体。例如:在业务系统上填写信息时,手误输错了新车类型信息,造成了数据库里存在的信息与真实世界不一样。
  • 数据一致性:
    是指数据是否遵循了统一的规范、是否符合逻辑。例如:同一车型所对应的名称在不同系统中保持一致。
  • 数据及时性:
    是指及时记录和传递相关数据,从而满足业务对信息获取的时间要求。主要指数据提取要及时、传送要及时、转换要及时、加载和展现要及时。
  • 数据有效性:
    指数据的值、格式和展现形式符合数据定义和数据业务定义的要求。例如:手机号要符合全球手机号码编码规则。
数据质量评估维度

数据质量问题分析原因

从数据的整个生命周期来看,任何一环节都有可能产生数据问题。在数据的采集阶段,数据的真实性、准确性、完整性、一致性等会影响数据质量。在数据的加工、存储阶段,也涉及到对数据的修改,也可能引发数据质量问题。所以,业务、技术、管理等多方面的因素都有可能会影响到数据质量。

业务问题

  • 业务需求不清晰
    在业务需求不清晰的情况下,很容易造成由于理解偏差,最终导致结果数据有问题。
  • 需求频繁变更
    需求一旦变更,其中数据采集、数据处理、数据存储等环节就可能会受到影响,稍有不慎引入Bug,便造成数据质量问题。
  • 数据填报缺失或不准确
    业务系统侧,在数据录入时,漏填或填错信息,造成数据的质量问题。
  • 数据作假
    为了提高或降低考核指标,对一些数据进行人为造假,使得数据真实性无法保证。

技术问题

  • 数据库结构设计问题
    例如:数据库表结构、数据库约束条件、数据校验规则的设计开发不合理,造成数据录入无法校验或校验不当,引起数据重复、不完整、不准确。
  • 数据采集问题
    从业务系统采集过来的数据本身就有一些不完整、重复、不规范,如果没有清洗、及时纠错或清洗代码有Bug,就会造成有质量问题的数据进入。
  • 数据处理问题
    数据在传递、数据转换、数据存储过程中,任一环节有技术问题,都有可能造成数据质量问题。
  • 各系统孤立开发
    业务系统各自为政,孤立开发,系统之间的数据孤岛、数据不一致问题严重。

管理问题

企业管理缺乏数据思维, 没有认识到数据质量的重要性。没有进行统一数据管理,没有明确的数据质量目标,也没有制定数据质量相关的政策和制度等。

数据质量问题改进指导

正如上述所列,造成数据质量差的原因有很多;那么,面对企业数据质量差的问题,如何改进?借鉴PDCA循环(又名戴明环)进行数据质量持续改进,以达最终数据质量目标。

PDCA循环

PDCA是一套“目标管理”流程,通过规划、执行、检查、行动四阶段,确保每次的目标都能达成。PDCA循环在质量管理中得到广泛的应用。
PDCA的四个阶段:

  • 计划 PLAN:
    先确定数据质量目标,可通过数据质量评估标准为当前企业数据质量进行评估,设定改进目标。
    对照目标制定计划与实施方案。在制定实施方案时,每1项措施要符合5W1H,即:为什么制定该措施?达到什么目标?在何处执行?由谁负责完成?什么时间完成?怎么完成?
    比如:一项措施是为企业制定并执行数据标准。
  • 实施 DO:
    依据上一步计划与实施方案进行执行。
    比如:制定好数据标准,推广到各部门执行。eg. 某车企会员类型(企业代码标准、2位编码):01 普通卡、02 黄金卡、03 钻石、04 超级VIP卡;车保险种类代码(外部代码标准、4位编码):10100 交强险、10200 商业车险 等等。
  • 检查 CHECK :
    完成一轮的实施之后,进行检查,对比当前实际情况与预期目标的差距。
  • 行动 ACT:
    对于本轮的经验和措施形成标准,标准化下来,持续运行,防止质量倒退。
    对于没有达到预期效果,分析原因,制定下一步行动,继续下一轮的PDCA循环。

所有措施不可能在一个PDCA循环中全部解决,遗留的措施会自动转进下一个PDCA循环,周而复始,螺旋上升。

PDCA循环

改进措施

有了PDCA循环的指引,透过PDCA环高效完成达到目标的所有措施,持续改进数据质量。在制定有效措施方面,始终要遵循:及时发现问题 -> 立即解决问题-> 提前预防问题;因此,归纳改进措施如下。
事前预防

  • 提高全员数据质量意识。加强培训、Session分享、或出题考试等,通过各种手段培养员工重视数据质量,了解数据对下游所产生的影响。
  • 制定数据规范、数据质量标准、元数据管理等。
  • 建立自动系统,数据输入控制,防止无效或不准确数据进入系统
  • 制定正式的变更控制、把关过程,防止正常处理流程之外直接更改数据
  • 制定相关制度来避免数据问题,如:严禁无记录无跟踪人为篡改数据。

事中监控
问题发生,及时纠正,最大限度地降低纠正措施成本和风险。

  • 构建日志管理体系,问题及时追踪处理。
  • 构建数据异常处理机制与告警办法
  • 创建数据质量监测平台,自动执行数据质量检查和审计过程。
  • 问题发生,及时数据修正:程序自动修正、程序自动发现且人工修正。
  • 建立数据质量的流程化控制体系,对数据的采集、加工、存储等环节进行流程化控制。

事后完善

  • 问题发生解决后,要复盘,完善相应的预防措施、数据规范、数据管理制定与政策等等
  • 定期评估度量,落实行动项,逐步提升数据质量。


    数据质量评估

写到这里,想必大家对于数据质量问题的分析与改进有了一定的认识。总之,记住下面这句话:

【首先】数据质量评估》发现问题,
【其次】问题根因分析》分析问题,
【最后】戴明环方法改进》解决问题。

你可能感兴趣的:(#数据QA分享# 论数据质量问题)