大数据Clouder认证：使用MaxCompute进行数据质量核查

数据质量基本介绍

什么是数据质量？

• 数据质量顾名思义就是数据的质量
• 数据质量是数据分析结论有效性和准确性的基础，也是最重要的前提和保障
• 数据质量是数据分析应用的基础，为了获得可靠的数据，企业必须密切关注数据质量，数据质量将是直接影响系统应用成功的关键

什么是数据质量管理？

• 数据质量管理，是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控预警等一系列管理活动
• 数据质量管理，不仅包含了对数据质量的改善，同时还包括了对组织的改善。针对数据的改善和管理，主要包括数据分析、数据评估、数据清洗、数据监控、错误预警等内容。针对组织的改善和管理，主要包括确立组织数据质量改进目标、评估组织流程、制定组织流程改善计划、制定组织监督审判机制、实施改进、评估改善效果等多个环节。

为什么进行数据质量管理？

• 企业数据质量与业务绩效之间存在着直接联系，高质量的数据可以使公司保持竞争力，并在经济动荡时期立于不败之地
• 大数据时代，如果没有良好的数据质量，大数据将会对决策产生误导，甚至产生不可估量的结果
• 目前，分析系统中的数据流转和处理环节越来越多，数据越来越复杂，数据质量出错的环节也就越来越多
• 为保证数据更好的为公司及企业的战略提供正确、有力的支撑，必须就要保证数据质量的准确，进而必须要进行严格的数据质量监控，以保证数据的可靠性、高质量

数据质量影响因素

• 需求过程引发
  需求过程引发的问题主要指需求设计、开发、测试、上线等过程之引发的数据质量问题
  此类问题的原因主要是因为需求过程中的管理机制和流程不健全导致

• 数据源引发
  数据源引发的问题是指由于上游数据源不完善或不规范，导致下游系统受到影响，出现数据质量问题
  数据源引发的数据质量问题是分析系统数据质量问题的主要来源，主要体现在：信息不完整、信息不正确、信息不一致

• 统计口径引发
  统计口径引发的问题主要指KPI、报表等指标口径中存在的数据质量问题，包括指标的准确性、一致性及完整性问题等
  此类问题产生的原因主要有以下情况：
  1、不同源系统或不同的业务部门，对相同名称的指标定义和口径不同，造成最终的指标统计结果出现差异
  2、业务部门在描述或定义指标口径时，存在许多不明确和不完善的地方，造成了指标口径的二义性

• 系统自身
  系统自身的问题主要是指系统在开发建设、日常运营和维护过程中引发的数据质量问题，比如数据模型质量问题、系统升级数据信息丢失问题、ETL数据清洗不够彻底带来的问题以及数据仓库流程调度等问题，原因主要有:

  • 数据仓库的建设过程中，由于缺乏规范化、体系化的建设思路，造成系统架构、数据模型、处理流程等不够优化和合理，从而带来数据质量问题；
  • 在系统运营中，由于普遍缺乏完善的日常管理和维护流程,在处理、监控数据时，没有可以依据和规范的处理手段，导致操作出现失误或遗漏，造成数据质量问题。

数据质量问题类型

• 错误值
  由于字段类型与实际存放数据差异，或录入信息出错而导致的数据错误

• 重复值
  数据记录中存在完全一样的重复记录，或从业务上理解不可能存在的关键信息出现重复记录

• 数据不一致
  数据的记录是否符合规范，是否与前后及其他数据集合保持统一。数记的一致性主要包括数据记录的规范和数据逻辑的一致性

• 数据完整性
  数据记录和信息是否完整，是否存在缺失的情况

• 缺失值
  正常的数据记录中，存在信息缺失的情况
  数据的缺失主要有记录的缺失和记录中某个字段信息的缺失，两者都会造成统计结果的不准确，完整性是数据质量最基础的保障

• 异常值
  数据记录中出现明显的数据偏差或数据错误的记录

阿里云相关产品介绍

大数据计算服务MaxCompute

大数据计算服务(MaxCompute,原ODPS )由阿里云自主研发，提供针对TB/PB级数 据、实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域。阿里巴巴的数据业务都运行在ODPS上。

数据开发Data IDE简介

大数据开发集成环境(Data IDE) ，提供可视化开发界面、离线任务调度运维、快速数据集成、多人协同工作等功能，为您提供一个高效、安全的离线数据开发环境。并且拥有强大的0pen API为数据应用开发者提供良好的再创作生态。

Data IDE操作界面

MaxCompute除了提供MaxCompute Studio客户端、odpscmd客户端进行开发外，还提供另外一种更为方便的操作界面DatalDE，DatalDE包含可视化的工作流界面及周期性任务调度、监控报警等，一方面降低用户使用ODPS的使用成本，一方面可以使用ODPS强大的大数据处理能力构建大数据云数仓。

Datal DE开发操作

通过DatelDE来实现数据质量监控，首先使用PC登录阿里云网页，在控制台里，选择大数据开发套件功能模块，选择对应的项目，进行开发操作。DatelDE主要包括数据集成、数据开发、数据管理、运维中心、项目管理、机器学习平台等功能模块，此次数据质量核查主要涉及数据开发、运维中心两大模块。

• 数据开发页面是根据业务需求，设计数据计算流程，并实现为多个相互依赖的任务，供调度系统自动执行的主要操作页面。
  • 任务开发，包含周期属性和依赖关系，是数据计算的主要载体，支持多种类型的任务和节点适应不同场景。
  • 脚本开发是对周期任务的补充，通常用于辅助数据开发过程，主要用于实现非周期的临时数据处理,如临时表的增删改等，因此不包含周期属性和依赖关系。
  • 在大数据开发套件中，当一个任务被成功提交后,底层的调度系统从第二天开始，将会每天按照该任务的时间属性生成实例，并根据上游依赖的实例运行结果和时间点运行。23:30 之后提交成功的任务从第三天开始才会生成实例。
• 运维中心是日常运维的主要工具，可对已提交的工作流及其节点任务进行管理与维护，同时也可针对节点来添加监控报警。主要分为运维概览、任务管理、任务运维和监控报警四个模块。