快手日入数据量超 5120TB，数据管治如何做？

​近日，快手大数据团队联合“快手中学”，举办“快手数据管治技术交流会”，各行业数据相关开发者报名参与。在海量的 UGC 数据、业务数据、用户数据背后，支撑快手数据业务的快手大数据平台，秉承“以领先的大数据技术，激活数据价值，赋能业务，打造快手核心竞争力”的使命。

日处理数据集群规模超过 3W，数据量超过 3EB，日入数据量超 5PB（5120TB），例行任务数超 30W。今年9月，快手曾围绕“数据架构”这一主题举办了“快手大数据平台架构技术交流会”。本次交流则聚焦“数据管治”主题，明年将继续开展更多数据领域相关主题活动。

▲快手数据工厂团队负责人 董西成

首先由快手数据工厂团队负责人董西成带来开场致辞。他介绍，快手在数据管治领域涉及的方面非常广泛，包括数据规范、资源控制、集成交换、数据建模等，为了推进数据管治，需要在技术产品、规范流程、组织等方面进行考虑。

▲快手数据管治体系

本次交流从数据管治的标准规范、资源管控、数据质量和数据服务四个方面展开分享，由来自快手的数据研发专家孙伟、程伟、杨钊、薛言、刘一凡分别带来五个主题演讲。

孙伟介绍了快手在数据中台化过程中由于模型不规范带来的数据孤岛、指标不一致、模型质量差等一系列问题，并针对这些问题结合元数据驱动的思路制定了治理方案，从元数据驱动问题的发现再到治理优化，最终实现数据模型的规范化。

从快手 EB 级数据量下对于存储成本管理所遇到的涉及面广、成本意识弱、缺乏有效方法等问题出发，程伟站在成本分析的角度，制定相应的存储成本控制策略，并以专项数据治理和自驱式数据管理相结合的方式去推进落地，从而达到存储成本管理的目的。

杨钊分享了快手的数据保障理念，并通过体系化的方式，保障数据完整、准确、一致、及时。基于上述保障体系，详细介绍了快手在直播场景通过需求流程管理、测试、质检、应急方案等保障策略，以及这些保障策略在直播事前、事中、事后具体的执行手段，如双链路设计、压力测试、应急方案制定等，保障了在数据量巨大，指标计算复杂等困难情况下，依然能够保障整个数据产品的产出及时，数据准确。

当谈到元数据平台和相关应用在快手的发展过程、现状及当前快手元数据平台的架构时，薛言分析了面对数十种的资产、过亿的实体规模的异构元数据，是如何进行抽象及管理的。并通过找数、全链路血缘、数据治理平台等几个主要的应用场景，展示了元数据在快手大数据平台中发挥的作用和价值。

刘一凡介绍了快手在数据中台化建设过程中，在指标领域建设所面临的缺乏流程、规范引起的口径不一致、反复梳理重构、缺乏统一服务引起的数据出口不一致等问题。并针对上述问题分享了流程、规范、组织以及系统方面的整体解决思路，重点阐述了 OneMetric 以及 OneService 两个核心系统模块的系统设计及其关键技术。

快手以技术为核心竞争力，十分重视技术创新和应用，同时也希望通过更多更广泛的技术交流，和业内开发者分享经验，碰撞出更多智慧火花，推动技术不断前进。

（大会PPT下载地址：https://github.com/CN-CJ/KwaiTechnologyCommunication）