性能全面超数据库专家，腾讯提基于机器学习的性能优化系统 | SIGMOD 2019

腾讯与华中科技大学合作的最新研究成果入选了国际数据库顶级会议SIGMOD的收录论文，并将于6月30日在荷兰阿姆斯特丹召开SIGMOD 2019国际会议上公开发表。

入选论文的题目为“An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning”，此项研究突破性的实现了基于AI技术的数据库性能调优结果首次全面超越数据库专家经验判断的传统方法。该成果由华中科技大学武汉光电国家研究中心周可教授团队和腾讯技术工程事业群云架构平台部CDB数据库团队合作完成，博士生张霁为第一作者。

 

智能云存储技术联合研究中心由腾讯与华中科技大学于2018年成立，旨在通过强强联合，建设一流的智能云存储技术创新和人才培养平台。通过吸引汇聚顶尖专业人才，腾讯与华中科技大学在分布式存储技术、高性能存储引擎、业务负载预测等方面开展联合技术攻关，突破超大规模云存储服务系统的诸多技术难题，推动智能云存储技术的科技创新及技术应用落地。本次入选的论文，正是智能云存储技术联合研究中心的联合研究成果之一。

 

SIGMOD数据管理国际会议是数据库领域具有最高学术地位的国际性学术会议，位列数据库方向顶级会议之首。

 

随着云计算的迅速发展，中小型企业通过购买云数据库服务系统，来代替自建和维护数据库服务系统的情况越来越多，以便节约人力物力。然而，大多数用户在购买云数据库服务系统后仅仅停留在使用层面上，在使用过程中经常遇到数据库系统性能下降的情况。

由于缺少数据库管理系统性能优化的经验，用户很难发现导致数据库系统性能下降的原因并有效地解决，这就需要云服务提供商为用户及时地调整数据库系统参数，以保证数据库的性能维持在一个较优的状态。对于拥有数十万计用户实例的云服务提供商来说，完全依赖数据库专家进行数据库参数调优显然是不现实的，如何利用AI技术解决数据库系统性能问题已经变得越来越重要和紧迫。

 

该文首次提出了一种基于深度强化学习的端到端的云数据库自动性能优化系统CDBTune，如图1所示。该系统可以在缺少相关经验数据训练的情况下建立优化模型，为云数据库用户提供在线自动优化数据库性能的服务，性能调优结果首次全面超越数据库专家，这将大幅提高数据库运维效率。

       

图1  强化学习与数据库性能优化关系图

 

如图2所示，在多种不同负载和不同类型的数据库下进行的大量实验证明，CDBTune性能优化结果明显优于目前已有数据库调优工具和DBA专家。即使在弹性云环境下，用户购买数据库内存或磁盘大小发生变化，或负载发生变化（类型不变）的情况下，实验证明CDBTune依然保持了较好的适应能力。

     

图2  CDBTune性能测试结果

 

在实际系统中，如图3所示，当用户或者系统管理员有数据库性能优化需求时，可以通过相应的交互接口提出调参优化请求，此时云端的控制器通过给智能优化系统发出调参请求，并根据用户真实负载建立的深度强化学习模型推荐出的相应的参数配置，然后将该配置在数据库中进行设置。反复执行上述的执行过程，直到待调参的数据库性能满足用户或系统管理员的需求即停止调参。

 

       

图3  CDBTune系统交互图

 

对于该论文，SIGMOD评审委员的评价是：“本文是关于利用机器学习方法优化数据库的技术，这是一个令人振奋的新领域。 特别是它使用了强化学习的方法。这篇文章不仅仅是简单地抛出一个机器学习技术，而且非常好地解释了机器学习是如何与特定的问题进行完全的匹配，同时也阐述了与传统机器学习术语之间的类比问题。鉴于在数据库社区中并非每个人都能对这些技术了如指掌，这也是一种教学方式，因此我们非常赞赏这篇文章。”

 

每年SIGMOD会议都会吸引大量全球学术组织和工业界数据库研究人员参会和分享，也汇聚了学术界和工业界在数据库领域最前沿的技术研究动向。

（*本文为 AI科技大本营转载文章，转载请联系连作者）

◆

精彩推荐

◆

想跟NVIDIA专业讲师学习TensorRT吗？扫码进群，获取报名地址，群内优秀提问者可获得限量奖品（定制T恤或者技术图书，包邮哦~）

NVIDIA TensorRT是一种高性能深度学习推理优化器和运行时加速库，可以为深度学习推理应用程序提供低延时和高吞吐量。通过TensorRT，开发者可以优化神经网络模型，以高精度校对低精度，最后将模型部署到超大规模数据中心、嵌入式平台或者汽车产品平台中。

推荐阅读

• 打破欧美垄断，国防科大斩获“航天界奥林匹克”大赛首冠

• 阿里达摩院SIGIR 2019：AI判案1秒钟，人工2小时

• 阿里巴巴杨群：高并发场景下Python的性能挑战

• 50行Python代码教AI实现动作平衡

• 任正非：华为 100% 没有后门

• 面试阿里技术岗，竟然挂在第4 轮……

• 独家对话V神! 质疑之下的以太坊路在何方?

• 同样是消息队列，Kafka凭什么速度那么快？

  漫画：码一代是如何培养码二代的？

你点的每个“在看”，我都认真当成了喜欢