浅谈大数据原理 (Designing Data-Intensive Applications 书评)

大数据生态的系统和技术层出不穷，我想简单罗列几个都有一种不知从何列起的感觉。最开始我们可能会先去看看hadoop，了解一套成熟的分布式数据存储和计算框架，了解数据怎么分割、怎么分布、怎么容错，任务失败了怎么恢复。我们会知道hadoop的不足之处，为了支持CRUD，我们会去看看cassandra、habase、kudu如何存取、更新数据；为了提高计算效率，我们会去了解tez、spark如何基于DAG做内存计算；为了数据实时性，我们会看看kafka如何传递消息、flink如何计算实时数据；为了支持SQL查询，我们会看看hive、spark sql如何生成执行计划；为了提高查询效率，我们会试试presto、impala，了解它们为了查询效率做了哪些优化，又牺牲了什么；为了支持OLAP，我们会比较一下kylin和druid，知道它们如何预处理数据，如何支持实时数据······
　　上面的话只是为了引入，一不小心就写的有点长了，然而事实是相关的技术和应用远远更多。如果我们见一个去学习一个，恐怕学不完，效果也不好。只有理清它们背后的原理和联系，知其然更知其所以然，才能举一反三，心中有数。《Desiging Data-Intensive Applications》就是这样一本书，或者说至少抱着这样的目的。不关注某个技术或应用，而是要把这些应用解构，探究它们背后的原理和动机，带我们建立一幅完整的数据密集型应用设计地图。
　　我是冲着这本书的好评而去看的，断断续续看了几个月才看完。由于一些网友给的评价极好，看之前我是怀着比较大的期待的。看的过程中有过小失望也有惊喜，总体符合期望，是经的起回味的好书。其实初看这本书的时候，并不觉得那么吸引人，尤其是第一部分，也就是前四章。看下来，对于我本来就了解的技术，没有讲出新花样，而对于我原来没接触过的技术，讲得又不够深入，总体感觉就是收获不大。看到第二部分倒是有些惊喜的地方，第5章讲Replication面临的各种难点和相应技术，可以说非常全面和透彻了，而且讲述方式又是以各种case举例，通俗易懂。还有就是第7章讲Transaction的Isolation levels道出了其中的各种因素的权衡，哪种机制能提供什么保证，要关注哪些corner case。不足的是第9章Consensus讲得不像Transaction那么深入，有点意犹未尽的感觉。之后就是最后一部分了，第10章和第11章介绍了批处理和流式计算，其中有一些观点还是挺有意思的，比如把批处理统一到Unix哲学；流式处理和event sourcing的比较等。但是看下来还是觉得其中有些技术可以分析的再深入一点。
　　看完这本书的前11章，还剩最后一章的时候，有个比较资深的同事问我关于这本书的评价，我的回答是这本书一般，是一本综述型的书，关于数据应用设计的各方面都有涉及，但是深度不足，需要顺着引用到的资料自己再去探索。我给出这样的评价是因为他已经深耕数据领域多年，对各种技术都很熟悉，对他来说这本书只能是一般了。但那是因为那时我还没看最后一章，不得不承认，直到看到最后一章，我才慢慢体会到这本书真正想表达什么。最后一章探讨了前11章提到的这方方面面，是如何共同作用，决定着我们在设计数据应用时需要作出的各种取舍和选择。同时作者终于开始以第一人称诉述，向我们表达了一些有意思的观点，是非常值得我们思考的。最后一章是本书的升华点，使本书形成了闭环，再完整回味这本书，其实它是在帮助我们构建完整的知识体系。
　　所以即使是我那比较资深的同事，我仍然会推荐这本书，前11章如果是自己比较熟的地方可以略读或跳过，不太熟的地方可以适当了解，最后听听作者的一些观点，结合自己的知识体系去思考，一定还是能有收获的。而对于技术还不成熟的同学，那就更是五星推荐了。这本书有个很好的点是引用文献列的很全，不懂的地方顺着深入就可以了。
　　既然说这本书是帮助我们建立知识体系的，那我也来试着分析一下各种数据应用和技术之间的逻辑好了。
　　应用是为了满足某一类需求，适用于某一种场景，同时可靠、可扩展、易维护是所有应用程序的非功能性追求。所以要理解应用背后的原理和动机，最重要的就是理解其场景和面临的挑战。回到本文第一段，我提到的各种应用就是随着场景的不断变化，而不断发展出来的。其中既有各异的功能性需求，又有相同的非功能性需求。既然都是数据应用，功能性需求自然都与数据的处理、存取相关，但是又会根据各自的场景，有不同的侧重，因此衍生出了不同的技术。同时，不同的场景下对非功能性需求的严格程度又是不同的，因此又衍生出了不同的处理技术。这个话题太大了，这里我不继续展开了。我打算把这个分析写成一个系列。第一篇我会把各种场景和面临挑战总结一下。之后会根据不同的场景和挑战，分析各种应用和其中的技术。
浅谈大数据原理(一)场景与挑战