揭秘阿里巴巴产品线上保护“绝招”！

作者 | 阿里文娱测试开发专家 烈冰

责编 | 胡巍巍

出品 | 程序人生（ID：coder_life） 

对于大麦这种客户众多，抢票舆情极易爆发的业务，如何保障好线上质量是极大的考验。大麦针对产品的线上问题分两个阶段进行了专项攻坚，拿到理想效果的同时沉淀出一整套解决 方案及技术工具，其中核心技术产品钉钉机器人“麦粒儿”被阿里多个 BU 接入使用以应对线 上问题。本文分两个阶段来阐述治理的结果、过程及沉淀。

 

第一阶段：提升线上问题的解决效率

 

1. 业务属性决定大麦要快速处理线上问题

背景：大麦的业务，售卖的是稀缺资源，而面对的客户除了普通的消费者，还有主办方、 场馆方和政府公安文化等，这样的业务属性，决定了我们对线上质量的高要求，线上问题的解 决效率是我们的第一指标。随着大麦内部一批大型新系统的陆续上线，线上质量的压力越来越 大，随即由技术质量牵头对线上问题展开专项攻坚，力保线上质量。

目标：通过专项治理，大幅提升线上问题的解决效率。我们对标了阿里内部各个业务的标 准，制定了大麦的核心指标为线上问题的 1 小时解决率。

价值：所有影响用户和业务的紧急问题在第一时间内得到解决；打通公司内各个部门，过 程结果透明，所有角色信息对等，对质量放心；所有同学对线上生产有敬畏之心，视线上质量 为生命线。

2. 经过各部门的通力合作和技术攻坚使核心目标达成

紧急问题的 1 小时解决率大幅增长。  

问题逐步收敛，解决时长大幅缩短。

机器人全流程承接，全角色参与，进度结果全透明。 

3. 通过建立工具化支撑的处理机制来实现目标

1）面对复杂的线上问题和众多的干系人，我们首先想到的是把问题分级，使那些真正紧急 的问题暴露出来，并建立问题的全流程处理机制来标准化运行，如下图： 

2）有了处理机制，还需要有工具来承接使之高效运行，我们开发了虚拟机器人依托钉钉群 进行问题的收录和沟通，并打通了研发工作平台、邮件系统、故障系统等使问题的快速处理形 成闭环，具体功能有：

支持上报问题→问题进展同步→日报、周报→复盘提醒→升级故障，形成闭环。

通晒紧急问题的核心指标，促进问题快速解决，实现核心目标达成。

日常应答，方便主动跟进问题进展，对未关闭的紧急问题直接@接口人处理。 

3）影响问题处理效率的核心是问题的定位。在治理过程中，技术团队建立并完善了各自业 务线的核心系统监控预警系统，使问题第一时间被发现。同时我们还开发了众多的排查工具并 打通全链路排查系统，结合舆情系统的精准信息反馈，使问题可以被快速定位。

 

第二阶段：提升大麦的线上质量水平

 

1. 重点从问题的解决效率转向问题的收敛

背景：经过第一阶段的治理，线上问题的解决效率已经得到了大幅的提升。但线上质量永远是我们的生命线，真正影响用户体验的是我们的线上质量，我们随即将目标对准提升线上质 量本身，力图实现收敛线上问题。

目标：将大麦的线上质量水平大幅提升。核心指标分解为：

收敛整体线上问题，腰斩 TOP 问题，控制紧急问题的二次发生率。

全面提效，完善机器人建设，全流程自动化承接，减少人力成本。价值：形成一整套专业的线上问题解决方案并有配套工具支撑，阿里集团横向打通；将线

上稳定视为生命线，在公司树立稳定压倒一切的共识。 

2. 经过各部门同学们的通力合作，核心目标全部达成。

线上质量大幅提升，紧急问题断崖式下降。 

整体问题平均解决时长大幅缩短。

TOP3 问题被腰斩，紧急问题二次发生率不到 1%！

机器人产品化基本完成，支撑业务线自运营，节省人力成本超一倍。“麦粒儿”支撑集 团多个 BU 进行线上问题处理。 

 

3. 为了达成核心指标，专项小组主要从专项根解 TOP 问题、完善机器人产品化、止血手 册和排查宝典建设三方面出发展开工作，具体事项如下：

1）对 TOP 问题进行专项治理，分级 Action 根解严重问题。

针对链路问题，成立专项小组进行治理。我们对历史问题进行了梳理和总结，在多个核心环节进行了多项产品及技术优化，并补齐

SOP 减少人为操作失误，最终使产技问题清零，生产问题腰斩。

制定完善的 Action 分级机制并应用于紧急问题中实现问题根解。为准确找到根解方案、保障 Action 及时完结，我们制定了复盘会议规范、Action 分类制度和 Action 分级处理规则并推动落地，紧急 Action 的周清率达到 100%。最终使紧急问题二次发生

率不到 1%，超过之前预定目标。

2）完善机器人功能并进行产品化，开始推广至外部 BU。在一期功能的基础上，机器人二期重点建设了排查止血指引、故障平台打通、各类功能优

化等，补齐了全流程闭环并全面提效，完成了创新的自动化承接的线上问题管理方案，主要包含：  

处理闭环：问题上报（含止血、排查方案）-->处理通知-->问题解决、关闭通知（含解 决时长同步及核心指标对焦）-->获取问题原因、解决方案-->复盘提醒。

升级流程：问题上报-->问题升级（故障标准）-->对接 GOC。

信息同步：支持自动发布线上问题的日报、周报等。 

机器人建设里程碑 

随着功能闭环的完成，开始进行产品化开发，同时完成多个专利申请；可快速配置个性化 机器人，实现分钟级接入全部功能；BU 内部众多问题群接入机器人，整体满意度超 95%；集 团多个外部 BU 也进行了机器人的接入工作，小小机器人开始横向打通支撑集团的线上问题处 理。

3）完成排查宝典和止血手册建设，指导止血操作并快速定位问题。 

止血手册建设：背景：当发生线上问题或故障时，根据阿里安全生产规范，我们首先要做的不是排查问题，

也不是解决问题，而是应该立即进行止血操作。争取在最短的时间里，最大程度的降低问题的

影响范围。之前在面对线上问题时，大家的止血操作效率低且容易被忽视，专项小组决定产出 一份止血手册，指导大家进行止血操作，提高问题解决效率。

工作：我们从实际线上问题出发，借鉴真实线上问题止血的实操经验，对问题进行归类整 理，创建了经典场景的止血手册，涵盖了全部的紧急问题，并与机器人结合自动指导大家进行 止血操作。

排查宝典建设：

背景：专项小组在 TOPIC 一期以解决时长为衡量标准，推动各个业务线建设核心排查工具， 从而提高了问题的排查效率。但是随着排查工具的种类和功能的不断增加，工具的操作使用说 明没有及时跟进，导致非该业务线的同学在查询使用上存在困难；其次，当遇到需要排查上下 游业务的线上问题时，因为不了解其他业务的排查思路和方法，只能等待其他对应业务的同学 给出排查结果，导致问题排查效率低。

工作：若想拥有方便、高效的定位问题的方法，不仅在于有好用的排查工具，还在于有清 晰的排查思路。我们从实际线上问题排查定位的实际经验出发，收集建设各个核心系统的排查 思路和配套工具，形成了核心业务的主要链路场景的排查宝典，包含问题描述、排查思路、详细步骤、参考案例。并与机器人结合自动指导大家进行问题定位。

止血手册和排查宝典的整体结果：止血手册结合排查宝典，使大麦整体的线上问题解决时长持续降低。

4）制定线上问题处理流程规范，助力高效自运营。

为了解放人力，使线上问题的管理实现自动化的高效运营，专项小组在不断完善机器人 建设的同时，还出台了《大麦线上问题处理流程规范》，并依据规范进行周、月维度度 量，逐步使线上问题的管理下放到业务线自运营；

整体处理流程规范包含处理流程、Aone 操作规范、定级规范、复盘规范、Action 规范、 故障标准、罚则标准等；

结合机器人在群问题管理方面的人力成本降低，整体人力成本节省超一倍。

 

 

总结

随着两个阶段的建设，大麦线上问题的处理效率和线上质量水平均得到大幅提升。但线上质量永远是我们的生命线，稳定压倒一切！未来我们还将继续建设第三阶段，致力于提升自动 化和智能化水平，并把整体的线上问题管理方案体系化推广出去。分解为：

继续推进机器人建设，打通全链路日志系统实现问题的智能诊断，并结合止血手册和排 查宝典建设，实现问题自动应答；

继续为新系统稳定保驾护航，专项推进线上 TOP 问题根解，杜绝二次发生；

完善整体的线上问题管理方案，支持更多阿里 BU 使用，为线上问题的专项解决提供更好的支撑。

热 文 推 荐

☞“软件开发教父” Martin Fowler 从业 40 年最想说这两个字！

☞在家办公的我，砍需求砍得更狠了

☞科技公司都是如何应对 COVID-19？

☞瑞幸咖啡自曝虚假交易 22 亿，App 反冲 TOP 1

☞在Kubernetes上部署一个简单的、类PaaS的平台，原来这么容易！

☞旷视提双边分支网络BBN：攻坚长尾分布的现实世界任务 | CVPR 2020 Oral

☞2020年，这20个大家都认识的加密交易所过得怎么样？

你点的每个“在看”，我都认真当成了喜欢