一致性模型
一致性模型本质上是进程与数据存储的约定,主要是用于解决分布式系统中数据复制时保持一致性的问题
一致性协议
一致性模型就像是接口,而一致性协议就像是接口的具体实现
一致性协议根据是否允许数据分歧可以分为两种:
单主协议(不允许数据分歧):整个分布式系统就像一个单体系统,所有写操作都由主节点处理并且同步给其他副本。例如主备同步、2PC、Paxos 都属于这类协议(zab和raft属于paxos的简化版)
多主协议(允许数据分歧):所有写操作可以由不同节点发起,并且同步给其他副本。例如 Gossip、POW。
它们的核心区别在于是否允许多个节点发起写操作,单主协议只允许由主节点发起写操作,因此它可以保证操作有序性,一致性更强。而多主协议允许多个节点发起写操作,因此它不能保证操作的有序性,只能做到弱一致性
单主协议
单主协议的共同点在于都会用一个主节点来负责写操作,这样能够保证全局写的顺序一致性,它有另一个名字叫定序器,非常的形象
(1)主备复制--最终一致性
主备复制可以说是最常用的数据复制方法,也是最基础的方法,很多其他协议都是基于它的变种。 主备复制要求所有的写操作都在主节点上进行,然后将操作的日志发送给其他副本。可以发现由于主备复制是有延迟的,所以它实现的是最终一致性
主备复制的实现方式:主节点处理完写操作之后立即返回结果给客户端,写操作的日志异步同步给其他副本。这样的好处是性能高,客户端不需要等待数据同步,缺点是如果主节点同步数据给副本之前数据缺失了,那么这些数据就永久丢失了。MySQL 的主备同步就是典型的异步复制。
(2)两阶段提交--顺序一致性
两阶段提交(2PC)是关系型数据库常用的保持分布式事务一致性的协议,它也属于同步复制协议,即数据都同步完成之后才返回客户端结果。可以发现 2PC 保证所有节点数据一致之后才返回给客户端,实现了顺序一致性
2PC特点:有一个参与者执行失败,协调者会让所有参与者回滚
2PC 把数据复制分为两步:
表决阶段:主节点将数据发送给所有副本,每个副本都要响应提交或者回滚,如果副本投票提交,那么它会将数据放到暂存区域,等待最终提交
提交阶段:主节点收到其他副本的响应,如果副本都认为可以提交,那么就发送确认提交给所有副本让它们提交更新,数据就会从暂存区域移到永久区域。只要有一个副本返回回滚就整体回滚
可以发现 2PC 是典型的 CA 系统,为了保证一致性和可用性,2PC 一旦出现网络分区或者节点不可用就会被拒绝写操作,把系统变成只读的。由于 2PC 容易出现节点宕机导致一直阻塞的情况,所以在数据复制的场景中不常用,一般多用于分布式事务中(注:实际应用过程中会有很多优化,例如3PC)
(3)分区容忍的一致性协议 -- 顺序一致性
分区容忍的一致性协议跟所有的单主协议一样,它也是只有一个主节点负责写入(提供顺序一致性),但它跟 2PC 的区别在于它只需要保证大多数节点(一般是超过半数)达成一致就可以返回客户端结果,这样可以提高了性能,同时也能容忍网络分区(少数节点分区不会导致整个系统无法运行)
我们熟知的 Paxos、ZAB、Raft 等分区容忍的一致性协议的核心思想:一致性的保证不一定非要所有节点都保持一致,只要大多数节点更新了,对于整个分布式系统来说数据也是一致性的
分区容忍的一致性协议如 Paxos 是典型的 CP 系统,为了保证一致性和分区容忍,在网络分区的情况下,允许大多数节点的写入,通过大多数节点的一致性实现整个系统的一致性,同时让少数节点停止服务(不能读写),放弃整体系统的可用性,也就是说客户端访问到少数节点时会失败
绕过不可用节点
值得注意的是,根据 CAP 理论,假设有三个节点 A、B、C,当 C 被网络分区时,有查询请求过来,此时 C 因为不能和其他节点通信,所以 C 无法对查询做出响应,也就不具备可用性。但在工程实现上,这个问题是可以被绕过的,当客户端访问 C 无法得到响应时,它可以去访问 A、B,实际上对于整个系统来说还是部分可用性的,并不是说 CP 的系统一定就失去可用性
不同的协议有不同的应用场景,例如:
对于数据库来说由于数据安全比较重要,因此数据库事务常用2PC来实现顺序一致性
而对于注册中心这种并不需要追求强一致性,就可以使用最终一致性,例如Eureka
相比单主协议为了实现顺序一致性,不允许多个节点并发写,多主协议恰恰相反,只保证最终一致性,允许多个节点并发写,能够显著提升系统性能。由于多主协议一般提供的都是最终一致性,所以常用在对数据一致性要求不高的场景中
Gossip 协议 -- 多主协议
Gossip 协议就是一种典型的多主协议,很多分布式系统都使用它来做数据复制,例如比特币,作为一条去中心化的公链,所有节点的数据同步都用的是 Gossip 协议。此外,Gossip 协议也在一些分布式数据库中如 Dynamo 中被用来做分布式故障检测的状态同步,当有节点故障离开集群时,其他节点可以快速检测到
Gossip 协议的核心思想就是:每个节点都可以对其他节点发送消息,接收到消息的节点随机选择其他节点发送消息,接收到消息的节点也做同样的事情
并发写的问题
多主协议允许运行多个节点并发写,就一定会出现对一个数据并发写导致数据冲突的情况,因此这类协议都需要解决并发写的问题。单主协议通过主节点控制写入,保证不会出现并发写的情况,因为所有写操作最终都会通过主节点排序
性能:
从某种意义上讲,使用单主协议的系统对于写入实际上是串行的,因此其性能是有瓶颈的
而多主协议允许多节点并发写,提搞了写入的性能,但是实际上它是把数据合并的操作延迟了,因此读取数据的时候如果出现数据冲突的时候,就需要对数据进行合并,保证全局一致性
为什么比特币的性能那么差?
前面我们提到比特币使用的是 Gossip 协议做数据复制,那么问题来了,不是说多主协议性能会比较高吗,为什么比特币的性能那么差?实际上,虽然比特币是去中心化的,但是它的支付功能需要保证全局数据一致性,因此它用了一种一致性算法 POW
一致性算法 POW
一致性算法 POW:所有节点都做一道数学题,谁先算出答案谁有权利将交易写到链上,然后利用 Gossip 协议传播它的答案和交易,其他节点验证它的答案正确就将数据保存起来
那么POW 作为多主协议为什么性能这么低?
任何协议都有它适用的场景。在比特币这个场景中,它对于数据一致性是有强需求的,理论上用单主协议是最优的选择。但是比特币作为去中心化的数字货币是不会使用单主协议的,否则又变成中心化的系统了。因此比特币只能选择多主协议,通过 POW 协议将比特币整条链操作进行了近似串行化,这样才能降低出现双花的概率(并发写的时候一个比特币被消费多次),鱼与熊掌不可兼得,既然要强一致性,那么只能牺牲性能来换取
由于多主协议允许了数据分歧,那么就需要有解决数据冲突的策略来保证最终一致性。如果要严格区分的话,比特币实际上应用了两个一致性协议:
POW:
决定节点的记账权,起到类似单主协议中定序器的作用。注意 POW 也是多主协议,尽管概率很低,但是它有可能出现多个节点同时算出答案,一起出块(并发写)的情况,此时我们称比特币出现了分叉,即出现了数据冲突
Gossip:
用于将出块的交易同步到全球所有节点。由于 POW 会出现并发写的情况,当一个节点同时接受到多个节点写入请求时,就需要解决数据冲突的问题。比特币解决数据冲突的方式就是当出现分叉时,选取最长的那条链作为主链,其他分叉的链上的交易会被回滚,等待重新打包出块
总结
本文主要从是否允许数据分歧的角度将分布式一致性协议分为两种:单主协议和多主协议。其中单主协议会用一个主节点来负责写操作,这样能够保证全局写的顺序一致性,但因此也牺牲了一部分性能。而多主协议则允许写操作可以由不同节点发起,并且同步给其他副本,只能保证最终一致性,但因此也提升了系统并发写入的性能
对数据一致性要求高的场景例如分布式数据库,主要会使用单主协议,对数据一致性要求不高例如故障检测,主要会使用多主协议来提高性能,当然也有特例,像比特币为了去中心化使用 POW 和 Gossip 结合进行数据复制