从0到1建立基于大数据的质量平台

着互联网的快速发展，大数据与软件质量的关系越来越密切，从源码撰写、持续集成、测试调试、发布运营，整个流程中大数据无所不在。每个数据关联起来对软件质量中的发现、度量、定位都有着重要的价值。如何从 0 到 1 建立基于大数据的质量平台，利用大数据来改善软件质量？

受访嘉宾介绍

万传奇（花名“万众”），阿里巴巴优酷事业部技术专家。2014 年进入阿里，负责阿里集团持续集成平台 CISE 、AONE 实验室等开发工作，支撑集团所有事业部的测试任务。并通过整合集团测试工具插件化，中间件 Docker 化等核心工作，积累了丰富的测试经验。

2017 年开始，全面负责优酷质量部平台建设工作，建立起以大数据为基础的视频质量保障体系，高效结合了实时度量、监控、灰度、告警、定位、分析等多项功能，形成一套完整质量保障解决方案，成为优酷业务线以及阿里相关多媒体质量唯一标准。

平台搭建背景

随着优酷技术栈和阿里不断整合，各客户端埋点数据参照集团的方式全部上报，但对于数据的使用，大家多是写个离线 SQL ，或者部分数据对接集团各个横向服务平台来使用。从优酷业务线角度看，没有一个垂直的大数据平台来支撑各业务线，严重影响开发的效率以及数据对业务本应有的强力支持。基于这个背景，团队临危受命，开始了大数据平台的开发工作。

平台搭建过程中“坑”

从技术角度来说，优酷大数据质量平台搭建分为三大部分：实时、离线、检索。

• 实时框架我们选择了 Blink（ Flink ）和 Spark Streaming ，两个框架都能很好处理实时需求，我们在 ETL 层面选用了 Blink ，数据计算部分选用了 Spark；

• 离线部分依托 ODPS 平台，这个平台相对功能强大，适合新人上手，简单的 SQL 就能满足业务需求；

• 检索部分我们主要依赖 ELK 技术，并将数据存储在 OTS （ HBase ）和 ElasticSearch 中用来进行实时离线度量数据查询，也包括了上面说的聚合查询、全文检索等。

在平台搭建过程中遇到不少“坑”，我们也总结了一些经验，主要分为以下两点：

1. 成本

在开发之前，需要考虑两个成本问题：费用成本和人力成本。

大数据是特别耗费资源的，如果这方面不加以控制，产品的性价比就大打折扣，结合优酷大数据平台的经验，这块一定要强关联业务，比如说在数据预计算处理的时候，需要考虑可选维度或必选维度，亦或是哪些维护可以合并处理，这样在存储上能够极大节省空间。在离线计算过程中，如何抽象出中间表，降低计算复杂程度，节省计算资源。

再说人力成本，这个在中后期表现特别明显，随着平台发展，业务方的需求源源不断涌入，从链路上要对接数据、数据计算、存储、后端接口封装、前端展现等一系列开发工作，这就需要我们明确数据格式规范、对各环节的计算逻辑抽象，支持灵活的配置化工作等，有了通用化作为前提，大数据平台同学就可以专注链路架构上的优化，业务同学深度参与进来，这样非常有利于平台的迭代。

2. 盲目调参

常规的参数调优，这是大数据工程师必须经历的。对于初次进行大数据平台开发的同学，建议大家不要盲目调参，要看是哪个环节出现了瓶颈，是网络问题，计算资源问题，还是数据倾斜问题等，针对性的进行参数调整，效率会更快。

公众号推荐：

公众号：VOA英语每日一听

微信号: voahk01

可长按扫码关注，谢谢