面试心经03--大数据开发工程师

一，数据质量

1，定义

数据的质量直接影响着数据的价值，并且直接影响着数据分析的结果以及我们以此做出的决策的质量。质量不高的数据不仅仅是数据本身的问题，还会影响着企业经营管理决策；错误的数据还不如没有数据，因为没有数据时，我们还会基于经验和基于常识的判断来做出不见得是错误的决策，而错误的数据会引导我们做出错误的决策。因此数据质量是企业经营管理数据治理的关键所在。

2，维度指标

（1）准确性：数据的准确性（Accuracy）是指数据采集值或者观测值和真实值之间的接近程度，也叫做误差值，误差越大，准确度越低。数据的准确性由数据的采集方法决定的。
（2）真实性：数据的真实性，也叫数据的正确性（Rightness）。数据的正确性取决于数据采集过程的可控程度，可控程度高，可追溯情况好，数据的真实性容易得到保障，而可控程度低或者无法追溯，数据造假后无法追溯，则真实性难以保证。
（3）完整性：数据的完整性是从数据采集到的程度来衡量的，是应采集和实际采集到数据之间的比例。一条信息采集12个数据点，如我们采集员工信息数据的时候，要求填写姓名、出生日期、性别、民族、籍贯、身高、血型、婚姻状况、最高学历、最高学历专业、最高学历毕业院校、最高学历毕业时间等12项信息，而某一员工仅仅填写了部分信息，如只填写了其中的5项，则该员工所填写数据的完整性只有一半。
（4）全面性：数据的全面性和完整性不同，完整性衡量的是应采集和实际采集的差异。而全面性指的是数据采集点的遗漏情况。比如说，我们要采集员工行为数据，我们只采集了员工上班打卡和下班打卡的数据，上班时间的员工行为数据并未采集，或者没有找到合适的方法来采集。那么，这个数据集就是不全面的。
（5）及时性：数据的及时性（In-time）就是数据能否在需要的时候得到保证。我们月初会对上个月的经营和管理数据进行统计汇总，这些数据能否及时处理完成，财务能否在月度关账后及时核算。数据的及时性是我们数据分析和挖掘及时性的保障。如果公司的财务核算复杂，核算速度缓慢，上个月的数据在月中才能统计汇总完成，等需要调整财务策略的时候，已经到了月底了，一个月已经快过完了。特别是公司做大了之后，业务覆盖多个市场、多个国家，数据不能及时汇总，会影响到高层决策的及时程度。
（6）即时性：数据的即时性是指数据采集时间节点和数据传输的时间节点，一个数据在数据源头采集后立即存储，并立即加工呈现，就是即时数据，而经过一段时间之后再传输到信息系统中，则数据即时性就稍差。
（7）精确性：数据的精确性（Precision）是指对同一对象的观测数据在重复测量时所得到不同数据间的接近程度。精确性，也可以叫精准性。精确性与我们数据采集的精度有关系。精度高，要求数据采集的粒度越细，误差的容忍程度越低
（8）关联性：数据的关联性是指各个数据集之间的关联关系。比如员工工资数据和员工绩效考核数据是通过员工这个资源关联在一起来的，而且绩效数据直接关系到工资的多少。采购订单数据与生产订单数据之间通过物料的追溯机制进行关联，而生产订单又是由员工完成的，即通过员工作业数据与员工信息数据关联起来。

3，数据质量管理机制

（1）探查数据内容、结构和异常；通过探查，可以识别数据的优势和弱势，帮助企业确定业务实施计划。一个关键目标就是明确指出数据错误和问题，例如将会给业务流程带来威胁的不一致和冗余。
（2）建立数据质量度量并明确目标；企业需建立一个共同的平台并完善度量标准，用户可以在数据质量记分卡中跟踪度量标准的达标情况，并通过电子邮件发送URL来与相关人员随时进行共享。
（3）设计和实施数据质量业务规则；明确企业的数据质量规则，即可重复使用的业务逻辑，管理如何清洗数据和解析用于支持目标应用字段和数据。业务部门和IT部门通过使用基于角色的功能，一同设计、测试、完善和实施数据质量业务规则，以达成最好的结果。
（4）将数据质量规则构建到数据集成过程中；数据质量服务由可集中管理、独立于应用程序并可重复使用的业务规则构成，可用来执行探查、清洗、标准化、名称与地址匹配以及监测。在企业大数据治理过程中，对于大数据生产线中的每个集成点，都需要做数据质量的检查，严格控制输入数据的质量。比如在数据采集过程，集成过程，分析过程等等都需要做检查。
（5）检查异常并完善规则；在执行数据质量流程后，大多数记录将会被清洗和标准化，并达到企业所设定的数据质量目标。然而，无可避免，仍会存在一些没有被清洗的劣质数据，此时则需要完善控制数据质量的业务规则。对于企业的内部数据，可以通过业务梳理直接获得质量检核规则。但是对于外部第三方数据，需要先对这些数据进行采样，并应用关联算法自动发现其中的质量检核规则，并将这些检核规则持续积累，形成外部数据的检核规则库。
（6）对照目标，监测数据质量；数据质量控制不应为一次性的“边设边忘”活动。相对目标和在整个业务应用中持续监测和管理数据质量对于保持和改进高水平的数据质量性能而言是至关重要的。可选择仪表板和报告进行监测。

4，数据问题分类处理

通过对不同时期数据的分类处理，做到事前预防、事中监控、事后改善，有助于从根源上解决数据质量问题，为企业的发展带来突破和创新。
（1）历史数据：用数据清洗的办法来解决，清洗的过程要综合使用各类数据源，提升历史数据的质量。
（2）当前数据：当前数据的问题，需要通过从问题定义、问题发现、问题整改、问题跟踪、效果评估5个方面来解决。
（3）未来数据：采用做数据规划的方法来解决，从整个企业信息化的角度出发，规划统一企业数据架构，制定企业数据标准和数据模型。

二，数据治理

1，定义

数据治理是对数据资产管理行使权力和控制的活动集合，也就说数据治理并不是一个简单的行为动作，而应该是一个形成体系的管理。
数据治理对于确保数据的准确、适度分享和保护是至关重要的。有效的数据治理计划会通过改进决策、缩减成本、降低风险和提高安全合规等方式，将价值回馈于业务，并最终体现为增加收入和利润。
数据治理是长期、复杂的工程，涉及到组织体系、标准体系、流程体系、技术体系和评价体系五方面的工作领域，包含了数据标准、数据质量、主数据、元数据、数据安全等多个方面内容。由于企业性质、业务特点、管理模式的不同，有必要建立符合企业现状和企业需求的数据治理框架，指导企业数据治理工作的开展。

2，数据治理的目的

（1）运营合规：运营合规这是整个数据治理的基础，也是数据质量提升的前提。
（2）风险可控：风险可控是数据治理的手段，将不确定性变为可知可控的风险。
（3）价值创造：价值创造是数据治理的结果，结果导向来验证整个数据治理是否有成果。

3，数据治理的体系

（1）组织体系：数据治理项目的实施绝非是一个部门的事情，不能在企业的单一部门得到解决。需要从整个组织考虑，建立专业的数据治理组织体系，进行数据资产的确权，明确相应的治理制度和标准，培养整个组织的数据治理意识。这需要 IT 与业务部门进行协作，而且必须始终如一地进行协作，以改善数据的可靠性和质量，从而为关键业务和管理决策提供支持，并确保遵守法规。
（2）标准体系：数据治理的标准体系是多个层面的，包括：国际标准、国家标准、行业标准、企业标准等。企业数据标准体系内容应涵盖：元数据标准、主数据标准、参照数据标准、数据指标标准等。数据治理的成效，很大程度上取决与数据标准的合理性和统一实施的程度。企业数据标准体系的建设应既满足当前的实际需求，又能着眼未来与国家及国际的标准接轨。
（3）流程体系：数据治理流程体系，为数据治理的开展提供有据可依的管理办法、规定数据治理的业务流程、数据治理的认责体系、人员角色和岗位职责、数据治理的支持环境和颁布数据治理的规章制度、流程等。建立数据的生产、流转、使用、归档、消除的整个生命周期管理的过程。企业应围绕数据治理的对象：数据质量、数据标准、主数据、元数据、数据安全等内容建立相应的制度和流程。
（4）评价体系：建立数据评价与考核体系是企业实施和贯彻数据治理相关标准、制度和流程的根本。建立明确的考核制度，实际操作中可根据不同企业的具体情况和企业未来发展要求建立数据的认责体系，设置考核指标和考核办法，并与个人绩效挂钩。考核指标包括两个方面内容，一方面是对数据的生产、管理和应用等过程的评估和考核指标，另一方面是数据质量的评测指标。
（5）技术体系：数据治理包括数据治理的工具和技术，总体应包括元数据管理、主数据管理、数据标准管理、数据质量管理和数据安全管理。

4，DMBOK的数据治理框架

（1）数据控制：在数据管理和使用层面之上进行规划、监督和控制。
（2）数据架构管理：定义数据资产管理蓝图。
（3）数据开发：数据的分析、设计、实施、测试、部署、维护等工作。
（4）数据操作管理：提供从数据获取到清除的技术支持。
（5）数据安全管理：确保隐私、保密性和适当的访问权限等。
（6）数据质量管理：定义、监测和提高数据质量。
（7）参考数据和主数据管理：管理数据的黄金版本和副本。
（8）数据仓库和商务智能管理：实现报告和分析。
（9）文件和内容管理：管理数据库以外的数据。
（10）元数据管理：元数据的整合、控制以及提供元数据。

5，数据治理的主要内容

（1）元数据管理：元数据管理是对企业涉及的业务元数据、技术元数据、管理元数据进行盘点、集成和管理，按照科学、有效的机制对元数据进行管理，并面向开发人员、最终用户提供元数据服务，以满足用户的业务需求，对企业业务系统和数据分析平台的开发、维护过程提供支持。借助变更报告、影响分析等应用，控制数据质量、减少业务术语歧义和建立业务和技术之间的良好沟通渠道，进一步提高各种数据的可信性、可维护性、适应性和可集成性。
（2）数据标准管理：数据标准适用于业务数据描述、信息管理及应用系统开发，可以作为经营管理中所涉及数据的规范化定义和统一解释，也可作为信息管理的基础，同时也是作为应用系统开发时进行数据定义的依据。涉及国家标准、行业标准、企业标准和地方标准，在定义元数据实体或元素时进行关联。数据标准需要不断的补充完善、更新优化和积累，以便更好的支撑业务的开发和系统的集成。
（3）主数据管理：主数据管理是通过运用相关的流程、技术和解决方案，对企业核心数据的有效管理过程。主数据管理涉及主数据的所有参与方，如用户、应用程序、业务流程等，创建并维护企业核心数据一致性、完整性、关联性和正确性。主数据是企业内外被广泛应用和共享的数据，被誉为是企业数据资产中的“黄金数据”，主数据管理是撬动企业数字化转型的支点，是企业数据治理最核心的部分。
（4）数据质量管理：建立数据质量管理体系，明确数据质量管理目标、控制对象和指标、定义数据质量检验规则、执行数据质量检核，生产数据质量报告。通过数据质量问题处理流程及相关功能实现数据质量问题从发现到处理的闭环管理，从而促进数据质量的不断提升。
（5）数据安全管理：目前多数人都知道数据安全问题十分重要，但在现实中，数据安全却常常被忽视，只有出现了数据安全问题甚至事故时，人们才认识到要为数据安全做点什么了。数据安全应贯穿数据治理全过程，应保证管理和技术两条腿走路。从管理上，建立数据安全管理制度、设定数据安全标准、培养起全员的数据安全意识。从技术上，数据安全包括：数据的存储安全、传输安全和接口安全等。当然，安全与效率始终是一个矛盾体，数据安全管控越严格，数据的应用就可能越受限。企业需要在安全、效率之间找到平衡点。

6，数据治理的价值

（1）数据服务：通过数据的采集、清洗、导入，提升数据质量，确保数据的一致性。这部分体现着主数据治理的关键价值。
（2）数据流通：通过实现信息整合和分发机制，支持跨业务、跨部门、跨系统的信息流转和协同。这部分体现着业务数据治理的关键价值。
（3）数据洞察：通过消除数据内在的质量缺陷，明确数据之间的关联关系，帮助数据分析人员更好地理解数据，实现数据洞察。这部分体现着分析数据治理的关键价值。