大型分布式网站技术架构综述

1. 大型网站特点

• 用户量大，且用户分布广泛

• 大流量，高访问量，高并发

• 海量数据，服务具有高可用性

• 安全环境恶劣，容易成为网络攻击目标

• 功能多，版本迭代较快

• 从小到大，渐进发展

• 以用户为中心

• 免费服务，付费体验

2. 大型网站架构目标

架构目标

3. 大型网站架构模式

• 分层：一般可将网站分为应用层、服务层、数据层、管理层、分析层等；

• 分割：一般按照业务/模块/功能特点进行划分，比如应用层分为首页、用户中心、产品中心、交易中心等功能模块。

• 分布式：对应用采用分布式部署（如通过云平台、容器等方式），通过远程过程调用（RPC）协同工作。

• 集群：一个应用/模块/功能通过高可用的集群方式部署，通过负载均衡方式提供对外访问地址。

• 缓存：将数据放在距离应用或用户最近的位置，加快访问速度，提高应用效率。

• 异步：将同步的操作异步化。客户端发出请求，不等待服务端响应，等服务端处理完毕后，使用通知或轮询的方式告知请求方。一般指：***请求——响应——通知 ***模式。

• 冗余：增加副本，提高可用性、安全性与应用性能。

• 安全：对已知问题有有效的解决方案，对未知/潜在问题建立发现和防御机制。

• 自动化：将重复的、不需要人工参与的事情，通过自动化工具的方式来自动完成相应的应用操作。

• 敏捷性：积极接受需求变更、支持灰度发布方式，快速响应业务发展需求。

4. 高性能架构

以用户为中心，为用户提供快速的页面访问体验，主要参数有响应时间短、并发处理能力强、高吞吐量及稳定的性能参数。架构可分为前端优化、应用层优化、代码层优化与存储层优化等。

• 前端优化：网站业务逻辑之前的部分；在浏览器端减少Http请求数，可以使用浏览器缓存、启用页面压缩、Css Js位置放在页面最后、采用Javascript异步请求、减少请求Cookie传输；提供CDN加速，使用反向代理；

• 应用优化：优化处理网站业务的服务器，通过使用缓存、异步、集群部署方式提供应用响应速度。

• 代码优化：合理的架构，多线程处理、资源复用（对象池，线程池等），良好的数据结构和设计械，针对Java代码的JVM性能调优、单例，代码中引入Cache机制等；

• 存储优化：存储硬件缓存、使用固态硬盘、采用光纤传输（成本比较高）、优化读写性能、磁盘冗余配置或采用分布式存储（HDFS）、采用NOSQL数据库等。

5. 高可用架构

大型网站应该在任何时候都可以正常访问，并对外提供7 * 24小时服务。因为大型网站的复杂性、分布式、应用涉及层面多（数据库、操作系统、服务器）等特点，需要保证高可用是很困难的，也就是说网站的故障是不可避免的。

如何提高可用性，就是需要迫切解决的问题。首先，需要从架构层面上进行综合考虑，在应用规划时，就应该考虑应用的高可用性。行业内一般用几个9来对可用性指标进行衡量，比如四个9（99.99%），表示一年内允许的不可用时间是53分钟。

不同层级使用的策略不同，一般方式可采用冗余备份和失效转移解决高可用问题。

• 应用层：一般设计为无状态的，对于每次请求，使用哪一台服务器处理是没有影响的。一般采用负载均衡技术（需解决Session同步问题），实现高可用。

• 服务层：负载均衡、服务分级管理、快速失效（超时设置）、服务异步调用、服务降级、幂等设计等。

• 数据层：冗余备份（冷，热备[同步，异步]，温备）、失效转移（确认，转移，恢复）。数据高可用方面著名的理论基础是CAP理论（持久性、可用性、数据一致性理论）

6. 可伸缩架构

伸缩性是指在不改变原有架构设计的基础上，通过添加/减少硬件（服务器）的方式，提高/降低系统的处理能力。

• 应用层：对应用进行垂直或水平切分。然后针对单一功能进行负载均衡（DNS、HTTP[反向代理]、IP、链路层）。

• 服务层：与应用层类似；

• 数据层：分库、分表、NOSQL等；常用算法Hash，一致性Hash。

7. 可扩展性架构

应用可以方便的进行功能模块的扩展或移除，提供代码与模块级别良好的可扩展性。

• 模块化(组件化)设计：高内聚、内耦合，提高应用的复用性和扩展性。

• 稳定接口设计：定义稳定的接口，在接口不变的情况下，内部结构可以“随意”变化。

• 设计模式：应用面向对象思想与原则，使用设计模式，进行代码层面的设计。

• 消息队列：模块化的系统，通过消息队列进行交互，使模块之间的依赖解耦。

• 分布式服务：公用模块服务化，可供其他系统使用，提高服务的可重用性和扩展性。

8. 安全性架构

对已知的安全问题有有效的解决方案，对于未知或潜在的安全问题建立发现和防御机制。对于安全问题，首先要提高整体的安全意识，建立一个有效的安全机制，从政策层面、组织层面提高安全保障意识。比如针对服务器的安全策略，应保证服务器密码不能泄露，对密码每月更新，并且三次内不能重复；每周安全扫描等。以制度化的方式，加强安全体系的建设。同时，需要注意与安全有关的各个环节。安全问题不容忽视。安全性架构包括基础设施安全、应用系统安全、数据保密安全等。

• 基础设施安全：硬件采购、操作系统、网络环境方面的安全。一般采用正规渠道购买高质量的产品，并选择安全的、提供正版化授权的操作系统，及时修补硬件或操作系统漏洞，提供杀毒软件防火墙支持。安全措施包括设置防火墙策略，建立DDOS防御系统，使用攻击检测系统，进行子网隔离等手段。

• 应用系统安全：在程序开发时，对已知常用问题，使用正确的方式，在代码层面解决掉。防止跨站脚本攻击（XSS）、注入攻击（SQL注入攻击）、跨站请求伪造（CSRF）、错误信息响应、代码泄漏、HTML注释、文件上传、目录（路径）遍历等应用层漏洞。还可以使用Web应用防火墙（比如：Imperva等），定期进行安全漏洞扫描等措施，加强应用级别的安全。

• 数据保密安全：存储安全、安全保管（重要的信息加密保存，选择合适的人员复杂保存和检测等）、传输安全（防止数据窃取和数据篡改）、常用的加解密算法（单项散列加密[MD5,SHA]，对称加密[DES,3DES,RC]），非对称加密[RSA]等。

9. 敏捷性架构

网站的架构设计时应注重运维管理的变化，网站架构设计时应考虑应用监控、告警和日志分析，提供高伸缩性、高扩展性，使应用支持灰度发布方式，应用设计时可考虑引入容器技术，能够快速扩展应用，以方便的应对快速的业务发展，突增高流量访问等要求。

除上面介绍的架构要素外，还需要引入敏捷管理和开发的思想，使业务、产品、技术和运维统一起来，随需应变，快速响应。