《大型网站技术架构》笔记：架构之伸缩性

网站的伸缩性是指不需要改变网站的软硬件设计，仅仅通过部署的服务器的数量就可以扩大或缩小网站的服务处理能力。
网站的伸缩性设计分为两类：

• 根据功能进行物理分离实现伸缩，即不同的服务器部署不同的服务，提供不同的功能。分离方式有两种：
• 纵向分离：分层后分离，将业务处理流程上的不同部分分离部署
• 横向分离：将不同的业务模块分离，即业务分割后分离
• 单一功能通过集群实现伸缩，即集群内的多台服务器部署相同的服务，提供相同的功能。主要分为应用服务器集群、数据服务（缓存和持久）集群。

---

应用服务器集群

应用服务器分为有状态和无状态两种，应用服务器集群主要解决如何分发HTTP请求，即如何配置负载均衡服务器，实现负载均衡的技术主要有以下几种：

• HTTP重定向负载均衡
  做法：HTTP重定向服务器根据用户的HTTP请求计算一台真实的Web服务器地址，并将该Web服务器地址写入HTTP重定向响应中（302）返回给用户浏览器，浏览器再重新向真实的Web服务器发起请求。
  缺点：浏览器需要两次请求才能完成一次访问，性能差；重定向服务器自身处理能力有可能成为瓶颈；302重定向可能会被搜索引擎判断为SEO作弊，降低搜索排名。
• DNS域名解析负载均衡
  做法：利用DNS处理域名解析请求的同时进行负载均衡。即一个域名配置多个记录（IP），根据负载均衡算法为请求返回一个不同的IP地址。
  优缺点：将负载均衡工作交给DNS，不必维护负载均衡服务器；某台服务器下线后，DNS无法及时生效。
  大型网站通常部分使用DNS域名解析，利用域名解析作为第一级负载均衡手段，即域名解析得到的一组服务器并不是实际提供Web服务的物理服务器，而是同样提供负载均衡的内部服务器，这组内部负载均衡服务器再进行负载均衡，将请求分发给真实的Web服务器。
• 反向代理负载均衡
  大多数反向代理服务器不仅提供可以缓存资源，改善网站性能，而且提供负载均衡的功能，管理一组Web服务器，将请求根据负载均衡算法转发到不同的Web服务器。Web服务器处理完成的响应也通过反向代理服务器返回给客户。由于Web服务器不直接对外提供访问，因此Web服务器不需要使用外部IP地址，而反向代理服务器则需要配置双网卡和内部外部两套IP地址。
  由于反向代理服务器转发请求在HTTP协议层面，因此也叫应用层负载均衡。其优点是和反向代理服务器功能集成在一起，缺点是反向代理服务器是所有请求的响应的中转站，其性能可能会成为瓶颈。
• IP负载均衡
  在网络层通过修改请求目标地址进行负载均衡。
  用户请求数据包到达负载均衡服务器后，负载均衡服务器在操作系统内核进程获取网络数据包，根据负载均衡算法计算得到一台真实的Web服务器，然后将请求数据包的目的IP修改为计算得到的真实Web服务器的IP地址，真实Web服务器处理完后，将相应数据返回给负载均衡服务器，负载均衡服务器再将响应数据包的源地址修改为自身IP地址发送给用户浏览器。这里的关键在于如何将响应数据从真实Web服务器返回给负载均衡服务器。主要有两种方案。
• 负载均衡服务器在修改请求数据包的目的IP的同时，修改数据包源地址为自身IP，即源地址转换（SNAT）
• 负载均衡服务器同时作为真实物理服务器集群的网关服务器，这样所有的响应数据都会到达负载均衡服务器
  IP负载均衡在内核进程完成数据分发，比在应用程序中进行分发的反向代理负载均衡方式的性能要高，但由于所有请求响应数据都需要经过负载均衡服务器，集群的最大响应数据吞吐量不得不受限于负载均衡服务器网卡带宽。
• 数据链路层负载均衡
  在通信协议的数据链路层修改mac地址进行负载均衡。负载均衡服务器在数据分发时不修改IP地址，只修改目的mac地址，通过配置真实Web服务器集群所有机器虚拟IP和负载均衡服务器IP一致，从而达到不修改数据包的源地址和目的地址就可以进行数据分发目的。由于实际处理请求的真实物理服务器IP和数据请求目的IP一致，不需要通过负载均衡服务器就可以直接将响应数据从真实Web物理服务器返回给浏览器。
  这种数据传输方式又称三角传输模式，这种负载均衡技术又叫直接路由方式。这是目前大型网站使用最广泛的一种负载均衡手段。在Linux平台上最大的链路层负载均衡开源产品时LVS（Linux Virtual Server）。

负载均衡服务器的实现可以分为两个部分：根据负载均衡算法和Web服务器列表计算得到集群中的一台Web服务器的地址；将请求数据发送到该地址对应的Web服务器上。具体的负载均衡算法通常有以下几种：

• 轮询
  所有请求被依次分发到每台应用服务器上，即每台服务器需要处理的请求数目都相同，适用于所有服务器硬件都相同的场景。
• 加权轮询
  在轮询的基础上，根据应用服务器硬件性能的差异，按照配置的权重将请求分发，性能高的服务器分配更多请求。
• 随机
  随机数本身就是均衡的
• 最少连接
  记录每个服务器正在处理的连接数（请求数），将新的请求分发到最少连接的服务器上。也可以进行加权最少连接。
• 源地址散列
  根据请求来源的IP地址进行Hash计算，得到应用服务器，这样来自同一IP的请求总是在同一个服务器上处理，该请求的上下文信息可以存储在这台服务器上，在一个会话周期内重复使用，实现会话黏滞。

---

分布式缓存集群

应用服务器集群中每台服务器都是等价的，提供相同服务。但是分布式缓存集群中，每台服务器中缓存的数据各不相同。因此，缓存访问请求不能在缓存服务器集群中任意选取，而是必须先找到有这个数据的缓存服务器。缓存服务器集群伸缩性设计的最主要目标就是：新加入缓存服务器后，应使整个缓存服务器集群中已经缓存的数据尽可能被访问到。
对于一个特定的缓存数据，在写操作时，根据key计算要写入到哪台缓存服务器；在读操作时，根据key按照写操作时同样的算法去计算出的那台缓存服务器去取value。这个读写操作时的算法就是路由算法，分布式缓存集群主要就是要实现这个路由算法。

• 余数Hash算法
  用服务器数目除缓存数据key的Hash值，余数为服务器列表的下标编号。由于hash值具有随机值，因此可以保证缓存数据在整个集群中的均衡分布。
  但是，当扩容后，缓存命中率会线性下降，一种解决办法是在网站访问量最少的时候扩容缓存服务器集群，并通过模拟请求的方式逐渐预热缓存，使缓存服务器中的数据重新分布。但是这种方式对业务场景有要求，还需要技术团队通宵加班（访问量小的时候通常在半夜）。

• 一致性Hash算法
  这是目前比较流行的路由算法：通过一致性Hash环的数据结构实现key到缓存服务器的Hash映射。
  具体算法过称为：先构造一个长度为2^32的整数环（一致性Hash环），根据结点名称的Hash值（[0, 2^32-1]）将缓存服务器结点放置在这个Hash环上。然后根据需要缓存的数据的key计算出key的Hash值（[0, 2^32-1]），然后在Hash环上顺时针寻找距离这个key的Hash值最近的缓存服务器结点，完成key到服务器的Hash映射查找。
  具体应用中，一致性Hash环通常使用二叉查找树实现，Hash查找实际上是在二叉查找树种查找不小于查找树的最小数值。
  但是上述算法会导致负载不均衡，即新增服务器结点后，只会影响其中一个结点，导致每台服务器的负载不一致。
  解决办法是，通过使用虚拟层的手段：将每台物理缓存服务器虚拟为一组虚拟缓存服务器，将虚拟缓存服务器的Hash值放置在Hash环上，key现在环上找到虚拟服务器结点，再得到物理服务器的信息。这样，新加入物理服务器结点时，相当于在Hash环上加入了一组虚拟结点。这样，就会将影响分摊到原来缓存服务器集群中的所有物理服务器上。实践中，一台服务器虚拟为150个虚拟服务器结点（太多影响性能--查找过程，太少导致负载不均衡--分摊），这个值应该根据具体情况具体分析。

---

数据存储服务集群

分为关系型数据库集群和NoSQL数据库集群

关系型数据库集群

• 读写分离：利用数据库本身的复制功能实现主从关系，写在主，读在从。
• 数据分库：将不同业务的数据表部署在不同的数据库集群上。
• 分片：将一张表拆开分别存储在多个数据库中。支持数据分片的分布式数据库产品主要有Ameoba和Cobar等。

NoSQL数据库集群

HBase：为可伸缩海量数据存储而设计，实现面向在线业务的实时数据访问延迟。其伸缩性主要依赖可分裂的HRegin及可伸缩的分布式文件系统HDFS实现。
Zookeeper：支持分布式一致性的数据管理服务。