Designing Data-Intensive Applications

https://shimo.im/docs/KEwtsH4V41QFYUTX

最近看了Martin Kleppmann的《Designing Data-Intensive Applications》，这是一本很值得分享的书。

所谓数据密集型（data-intensive）应用，是相对于计算密集型（compute-intensive）而言的，翻译自wikipedia的解释：“数据密集型计算是一种并行计算应用程序，它使用数据并行方法处理大量数据，通常是tb或pb大小的数据，通常称为大数据。将大部分执行时间用于计算需求的计算应用程序被认为是计算密集型的，而需要大量数据并将大部分处理时间用于I/O和数据操作的计算应用程序则被认为是数据密集型的。[1] ”对于这种类型应用，CPU的处理能力往往不是第一限制因素，关键在于数据量、数据的复杂度及数据的快速多变性。

本书给人的印象是脉络清晰、层层推进、娓娓道来，整本书分为三部分：

数据系统基础，讨论了支撑数据密集型应用最基本的底层设计思想，涉及了诸如可靠性、可扩展与可维护性，数据库如何安排磁盘结构以提高检索效率等主题。

分布式系统，讨论了数据存储从单机到分布式带来的挑战，涉及了分布式环境如何达成一致性与共识等话题

派生数据系统，讨论了如何将多个异构的数据系统整合到一个应用体系中，以解决大型应用系统中，仅用一个数据库系统无法同时满足数据存储、索引、高速缓存、分析系统等需求组合的场景。

这三个部分的关系，我的理解是由基础到高级，由简单到复杂，由理论到实践，的渐进式关系。

前两部分对于架构而言基本上是一个知识的巩固复习，而比较有启发意义的是第三部分，因此重点说下这部分。作者首先讨论了批处理和流处理，然后在本书的最后一章，阐述了作者自己对数据系统未来的看法和预测，以及设计数据系统的新方法，其主要观点如下：

没有一种工具（工具指mysql, mongodb, es, hadoop, spark, storm这些）可以有效地服务于所有可能的场景，应用系统必须编排多个不同的软件来完成他们的目标。

所谓派生数据系统（Derived Data Systems），是相对记录系统(Systems of Record)而言的，记录系统也叫真实数据系统，拥有数据的权威版本，而派生数据系统中则是从另一个系统中获取已有数据并加以转换或处理。若派生数据丢失，可从原数据源进行重建。本质上派生数据是冗余的，也就是对已有信息的复制。区分记录系统与派生数据系统的意义在于：明确系统中的数据流，即系统的哪部分具有哪些输入和哪些输出，以及它们之间如何相互依赖。 

设计数据系统的新方法：通过使用批处理和流处理来解决数据集成的问题，使数据在不同系统之间灵活流动，某些系统被指定为记录系统，而其他系统做为派生数据系统，以分别满足数据存储、索引、高速缓存、分析系统等需求组合的场景。

上述设计的新方法对于应用系统，有如下收益：

异步松耦合，防止局部问题可能扩散到系统的不相关部分，从而提高了整个系统的鲁棒性和容错性；

将数据流表示为从一个数据集到另一个数据集的转换，有助于系统演进，比如更改索引或缓存结构，只要在整个输入数据集上重新运行新的转换代码就可以，同样，如果出现问题，也可以很容易的修复代码然后重新处理数据来执行恢复；

可以将数据流应用系统的概念重新分解为数据库组件，并通过组合这些松耦合的组件来构建应用系统。

最后，我自己的一点思考：

数据同样是资产，价值含金量不亚于公司定义的组件

派生数据系统的设计模式实质上也是一种组件化的设计思想

复用是组件化的主要目的，我们考虑了前端的复用、服务端的复用，而数据的复用是否也应当做更多的考虑

结合公司对抽象的要求，考虑记录系统存储高层次的抽象数据对象，而派生数据系统将抽象的数据对象再基于子领域做一次具象的转换