高可用性架构

高可用性是指一个系统经过专门的设计后具备的减少停工时间并保持提供服务的高度可用性。该特性是衡量系统提供服务能力的一个特征，也是对系统进行设计时需要考虑的一个重要因素。
对于分布式数据库系统而言，“三高一易”（高可用、高可靠、高性能、易用性）几乎囊括了所有重要的特性。而随着互联网需求和技术的发展，高可用性被提到一个新的高度。CAP理论认为，A（可用性）应当被更加重视。参考文献[1]以CAP为背景，论证了分布式的强一致性的线性一致性和事务一致性结合时，与可用性（A）的关系；该参考文献认为，做事务系统的设计时，A应该作为核心考虑点纳入设计要素中。

衡量指标

在传统领域，在商业上定义系统的高可用性时采用SLA（Service Level Agreement，服务等级协议）。SLA是在一定开销下为保障服务的性能和可用性，服务提供商与用户共同定义的一种双方认可的协定。该协议在网络服务供应商领域被广泛使用，会约定最小带宽、同时服务客户数、最长故障时间等一系列指标。在软件领域，最广泛使用的指标是平均服务时间。例如，我们经常听说的服务可用性可达几个九，就是服务的可用性数字化衡量指标，99.99%表示一年里服务最多只能有52.6分钟不可用，99.999%表示一年里最多只能有5.26分钟不可用。
对于分布式数据库而言，高可用本是一个专业名词，其是系统的一个特性，保证系统能在足够长的时间内提供指定程度的服务。衡量数据库系统的可用性，还有如下两类指标。

1）从故障恢复的角度来看，包括RTO和RPO。

• RTO（Recovery Time Objective，恢复时间目标）：故障恢复过程所需的时间花费。故障发生后，从IT系统停止服务开始，到IT系统恢复
  为止，此两点之间的时间段称为RTO。比如，故障发生后系统服务在12个小时内便可被恢复，那么RTO值就是12小时。对数据库系统而言，
  RTO通常需要控制在秒至分钟级别。该项指标是描述系统可用的指标之一，不能完全代表可用性。
• RPO（Recovery Point Objective，恢复时间点目标）：数据恢复后对应的时间点，即数据可恢复到哪个时间点上，该时间点之后的数据都
  会丢失，该值越小越好。如果数据库采用主备强同步或者多基于共识协议的副本技术，后者数据库依赖分布式文件系统，则RPO的值可以确
  保为0，即数据不丢失。该项指标更多的是在描述系统的可靠性，唯有可靠才更可用。
  2）与衡量计算机的高可用类似的指标，包括MTBF、MTTF、MTTR。
• MTBF（Mean Time Between Failure，平均无故障时间）：对于可修复系统，系统的平均寿命是指平均情况下两次相邻失效（故障）之间的工作时间，又称系统平均失效间隔。该值越大表示可用性越好。
• MTTF（Mean Time To Failure，平均失效时间）：对于不可修复系统，系统的平均寿命指系统发生失效前的平均工作时间，又称系统在失效前的平均时间。
• MTTR（Mean Time To Repair，平均修复时间）：对于可修复系统，该指标表示故障的平均修复时间，即故障从出现到修复的时间。MTTR越小表示易恢复性越好。
  在如上3个指标下，可用性是指可修复系统在规定的条件下使用时具有或维持其功能的能力。其量化参数为可用度，表示可修复系统在规定的条件下使用时，在某时刻具有或维持其功能的概率。可用度通常记作A：
  

一些高可用架构

对于数据库系统，在单机数据库时代，通过主从架构实现了系统服务级别的高可用，如PostgreSQL、Oracle、SQL Server等采用的都是基于物理日志复制技术的主从架构。MySQL的基于逻辑日志（以逻辑日志为主的混合日志）复制技术的主从架构，AWS的Aurora基于“日志即数据库”（Log is database）思路的存放分离、共享存储的一主多备（备机级联可达16个只读备机）架构，都是早期数据库在高可用架构方面的典型范例。主从架构技术的数据冗余粒度在服务器一级，某个备机服务器挂掉则可用性降低，这是因为挂载新的备机时需要从其他节点传输大量的数据到备机，致使备机的不可用时间变长；而如果采用逻辑复制的方式，会因效率低致使备机可用性降低。
在分布式数据库中，节点级的高可用，也可采用主从复制的架构，如Greenplum的Mater节点就有一个作为备机的Standby节点，Master作为系统的入口，用于存储元数据，接收客户端连接及提交的SQL语句，将子任务分发给提供存储和处理数据服务的数据服务节点（Segment节点）。
分布式数据库中，数据层和计算层的高可用，首先采用了存算分离架构，使得数据层和计算层可独立分别进行扩缩容。存储层采用基于共识协议的多副本的方式，有些系统提供主副本写从副本可读的方式，从而提高了系统的可用性。计算层无状态信息，这使得计算层的可用性得以提高；只要是启动的新的计算层，加入集群后即可提供服务，这也使得系统整体的可用性得以提高。但是这样的分布式系统的组件可能存在可用性不够高的地方，如Spanner的Placement Driver（简称PD）[2]是对整个集群进行管理的模块，其可能存在单点瓶颈从而导致可用性不高，需要专门构造带有冗余机制的其他高可用方案，例如有的系统采用ZooKeeper集群进行元数据的管理、选主等工作。
相较于传统的主备方式，基于共识协议的数据冗余的方式，其数据划分为一个个分区（Partition、Range等），以适配I/O块大小的方式传输。数据复制的粒度因此被细化，这使得数据的复制可以并行进行且可以从多个不同副本上同时复制，这减少了备机上线的时间，提高了可用性。这一点也是基于共识协议实现数据冗余进而提高系统可用性之处。
除了节点故障、组件失效等会降低分布式系统的可用性外，延时也会降低其可用性。PACELC是除了考虑网络分区外，在延时方面也提供了考量因素的理论。该理论将少见的基于现代高性能可靠网络进行分区和更为多见的延时这两种因素一起纳入系统架构设计的范畴。

[1] Bailis P, Davidson A, Fekete A, et al. Highly available transactions: Virtues and limitations[R]. Hangzhou: VLDB, 2013:181-192.
[2] 例如提供的服务可包括：一是存储集群的元信息，二是对集群进行调度和负载均衡（如数据的迁移、Raft group leader的迁移等），三是分配全局时钟。
[3] Daniel J. Abadi尽管提出了PACELC理论，但没有给出适宜的解决办法，也没有明确给出一致性的定义，没有分析一致性、可用性之间的关系。