这门分布式 KV 存储系统课程教会了我什么？ | 我与 Talent Plan

作者：张艺文

作者介绍：
张艺文，华中科技大学武汉国家光电实验室直博二年级，主要研究方向为基于新型存储设备的 KV 存储。PingCAP Talent Plan 第二期优秀学员。

距离我从 PingCAP Talent Plan 结业已经过了三个月，这也算是我第一次与企业或者说工业界近距离接触。与 PingCAP 结缘是在去年的六月份，我们实验室发表了一篇有关 KV 方向的论文，众所周知，PingCAP 研发了分布式 Key-Value 存储层 TiKV，同时他们也在寻求各种学术界的优化方案，尝试将这些成果实现到产品中以提升性能。所以在 PingCAP 的崔秋老师和唐刘老师来拜访了实验室之后，我们就顺利地开展了关于 TiKV 的合作。

那么问题来了，我们对 TiKV 并不熟悉。首先，TiKV 虽然也是 KV 存储系统，但它是一个分布式的 KV 系统，而我们研究的主要方向是单机 KV 存储引擎，因此我们需要去补习各种分布式方面的知识；第二是语言的门槛，平时的工作中我们都是 C/C++为主，在了解 PingCAP 之后才接触到 Rust 这门语言，进而了解到 Rust 陡峭的学习曲线，这无疑给我们熟悉 TiKV 又设置了一个阻碍；除此之外，关于 TiKV 的基本结构、各种实现上的技术等等，也是我们的知识盲区，要完全熟悉这个庞大的系统实属不易。而这个时候，Talent Plan 悄然而至，为我们深入了解并掌握 TiKV 打开了一扇窗。

Talent Plan 第一期是去年十一月份开始的，不巧的是那段时间我正忙着实验室的论文任务，没能参加。据说第一期 Talent Plan 因为没有区分线上线下课程，所以把基本语言学习以及后续系统学习课程压缩到了一个月的时间内，学员的学习压力比较大（嘿，还好我是第二期）。我真正参与到 Talent Plan 是在今年的三月份。有了第一期的经验，第二期 Talent Plan 在课程内容上做了很大的升级优化，拆分了线上部分和线下部分。首先我在实验室完成了语言以及基本的 Raft 原理等线上课程，然后再前往 PingCAP 总部学习一个月，专注于系统的学习。这个时间安排更加合理，一定程度也减小了我们的学习压力。在四月中旬，完成线上课程的我动身前往北京，与西工大、武大、中科大以及同一实验室的另一名小伙伴，开始了为期一个月的 TiKV 线下课程的学习。

第一周的课程任务主要是论文阅读，导师们挑选了分布式存储领域的论文带领我们阅读，同时穿插了两堂课，分别是 Rust 入门课程以及 TiKV 架构入门。通过论文以及简单的介绍，我们基本熟悉了主流的几个分布式数据库系统以及基本分布式一致性原理，算是正式进入到 TiKV 的世界。

第二三周开始深入学习 TiKV，从基本的 Read/Write Flow 解析到 TiKV 的部署以及性能测试，同时穿插学习 Raft 基本原理、MultiRaft 实现原理以及 Percolator 事务模型。各位导师由浅至深为我们解析了 TiKV 的各个层次的实现原理，我们也通过实际操作巩固相关的知识，了解到他们究竟在系统中是怎么运作的。

最后一周，我们的任务是综合前面的学习内容，自己实现一个基于 TiKV 的 Redis server，算是整个线下学习阶段的一个总结。

总体来说，完成所有课程以及任务让我们对 TiKV 以及 PD 的原理和实现都有了一个详尽的认识，虽然期间也遇到了各种困难，好在最后还是完成了所有任务顺利结业。在学习过程中，每天下午都有老师来为我们答疑（主要是 zhangjinpeng 老师），学习过程中遇到的问题都能够得到及时的解答，还能进行额外的工业界方面知识的拓展，让从未实际接触过工业界的我们学到了难得的经验。而且每周都有工作人员（此处感谢 linlin 姐）来记录生活学习上遇到的问题，能够得到非常及时的反馈，让我们能够专注于当下的学习。

当然，这也只是 Talent Plan 的第二期，也有不完美的地方。就我的感受而言，首先是课程安排上，语言基础以及 Raft 原理在我们完成线上课程之后基本已经很熟悉了，没有必要再次重复，可以省下来安排给别的课程。其次，我个人感觉线上课程从 Rust 入门到完成最后完成 MIT 的 kvserver 课程，一个月的时间有点紧张（建议小伙伴们尽早开始准备），而且 MIT 的两个课程的测试 case 非常的多，导致大量的时间花在了 debug 上，有点喧宾夺主。相比起来后面 Percolator 的课程感觉很合适，难度适中，完成之后在导师的指导下结合实际应用场景还进行了一些优化拓展。还有一个小问题，课程任务有的时候描述太简单，导致我们拿到题目有点一头雾水，当然每次都能通过及时沟通得到更加详细的说明（笑）。

当然 Talent Plan 也在不断的优化，据我所知，第三期课程已经做了许多改进，上面提到的问题已经得到了优化与解决，后续课程应该也会更加完善。

总的来说，参加 Talent Plan 是一次非常珍贵的体验，一方面是学到了许多的没有接触过的分布式领域的知识，另一方面也结识了来自全国各个高校的优秀的小伙伴以及 PingCAP 的各位厉害的导师，也为我之后来 PingCAP 实习埋下了伏笔。

最后，感谢 PingCAP 各位工作人员以及各位导师的付出与工作，为我们带来了 Talent Plan 这样优秀的活动。