漫谈大型网站架构

大型网站架构从来都不是一个预先定义的架构，而是一个演进式的架构。很少有一个网站从建站开始，就能够因具备大型网站的所有属性而一成不变的，从最 简单的LAMP架构，再到基于IOE的大型集中式应用架构，再演变成时下的分布式应用架构，随着网站用户规模的扩大，架构也在不断演进。从实体机到虚拟机 再到当前流行的Docker技术，从单机房到同城多机房再到异地多活，从LAMP到J2EE再到各种分布式中间件如服务框架、分布式消息队列、配置管理中 间件、分布式数据访问层，由简至繁的艰难蜕变，也正是一个网站从小变大由弱变强的成长历程，哪里有挑战，哪里才会有变革，这正是作为技术人建功立业的时 刻。

规模不断扩大，但成本不可能随之线性增长，因此，如何利用规模效应降低资源成本，抽取公共部分，避免重复造轮子，提高开发效率和响应速度，成了必须 思考的问题。技术存在的核心价值就是为了生产力的提高，当技术架构制约了生产力发展，就需要进行技术变革。当前支撑大型网站的几大核心技术，分布式、服务 化、虚拟化，其中分布式解决的是规模化带来的问题，所谓的规模化即包括数据规模越来越大，访问量越来越高，也包括开发团队规模越来越大，工程代码规模越来 越大。单机的存储能力以及负载能力必然有限，从PC到小型机再到中型机、大型机，成本将成指数级升高，而成百上千人开发同一个工程，则导致系统臃肿，开 发、发布效率极低，互联网将丧失了赖以生存的灵活性，回到以前传统软件的开发模式。通过应用垂直拆分，集群分布式水平扩展，不仅使系统容量得到提升，存储 和负载将分配到大规模的廉价集群上，以降低成本，开发效率和开发模式也得到改变。通过公共业务抽取，将诞生一批处于系统底层的基础服务，避免相同的内容重 复造轮子，提高开发效率。作为大型网站架构中最重要的中间件，服务化框架简化了服务调用所涉及的对象序列化与反序列化，通信协议，服务路由等操作，以及到 后来诞生的一个新名词—服务治理，去梳理服务的依赖关系、调用链路、强弱依赖等等更复杂的问题。除此之外，在架构师的武器库中，还有众多不同应用场景下使 用的中间件，如消息中间件、 分布式数据访问层、配置管理中心、数据迁移工具、分布式文件系统等等，这些都是日常系统架构中的粘合剂。大型网站的另外一个 核心技术就是资源的虚拟化，从实体机到Xen、KVM再到基于LXC的轻量级虚拟化方案，再到Docker，技术的更新换代使得资源的利用率越来越高，集 群的运维、部署和管理越来越方便。另外不同的场景下如何选择存储也十分重要，高并发和大数据往往都不会单独出现，到底是采用磁盘、SSD还是采用内存，到 底是采用分布式文件系统，关系数据库，还是NOSQL，还是采用内存分布式缓存，不同的场景下方案会大相径庭，分布式文件系统存储容量几乎可以理解为无 限，但是吞吐低，关系型数据库有严谨的schema以及功能强大的SQL语句，可以满足各种复杂的查询条件，但无奈扩展太麻烦，为了应对高并发读写访 问，master-slave、读写分离、分库分表一折腾，不仅工作量大增，且查询维度受限，还需要引入垂直化搜索引擎来扩展查询维度，NOSQL虽然能 自动分区扩容，但无奈不支持SQL，而缓存虽快，内存条又太贵，架构就是要不断的权衡取舍。

大公司之所以不如小公司响应速度快，原因在于大公司有太多积累，有时候积累多了也会成为包袱，现有的模型会使得新业务难以快速融入。当遇到问题和挫 折的时候，就是思考改进和系统变革的时候，从来没有哪个系统在设计好之后就封存代码永不改变的，技术永远是不断发展，需求和市场也是不断变化的，因此不要 指望用一种架构满足所有的需求，系统设计需要满足一段时间内的可扩展性，但千万不要过度设计，因为过了半年之后你回过头来重新review，你会发现需求 早已改变，这就是互联网的快节奏。对于系统的架构来说，一段时间之内架构的演变，常常会经历从清晰，再到模糊混乱，再重构，再清晰，然后又变得模糊的过 程，市场环境总是瞬息万变的，因此，系统的设计要遵循对扩展开放，对修改封闭的原则，做到这点即可方便及时的接入新流程，又能够不影响既有的流程。从宏观 来看，各个系统间的关系一定不是烟囱与烟囱的关系，而是犹如城市里的高楼大厦，通过公路连接起来，因此，要提高建房子的速度，就要充分利用已有的基础设 施，已有的中间件，来降低系统构建的成本和风险。架构设计的几个层次，没有架构也是架构，专注于解决现有问题也能称为架构，而好的架构应该是即能够约束开 发者又能够解放开发者使其专注于功能的设计。尽量将复杂的事情变的简单，而不要将简单的事情变的复杂，技术从来都不是用来炫的，而是用来解决实际问题的， 因此我们不需要花拳绣腿，洛克希德·马丁公司的著名飞机设计师凯利·约翰逊所提出的KISS原则，就是最好的诠释。风险驱动的架构理念告诉我们，避免失败 是所有工程技术的核心，架构也是技术，运用架构技术去缓解风险，避免走极端，是架构师的最根本职责。

作者介绍：陈康贤（花名龙隆， 博客），淘宝技术部技术专家，著有《大型分布式网站架构设计与实践》一书，在分布式系统架构设计、高并发系统设计、系统稳定性保障等领域积累了较为丰富的实践经验，对新技术有浓厚的兴趣 。