分布式一致性算法
- Paxos：于1990年提出的一种基于消息传递且具有高度容错特性的一致性算法，为说明Paxos算法，有一个生动的希腊城邦议员的例子说明Paxos算法的工作过程，虽然有例子，理解起来还是比较困难。使用了该算法的著名开源组件有腾讯微信的：
phxpaxos。 - Zab：ZAB 协议是为分布式协调服务 ZooKeeper 专门设计的一种支持崩溃恢复的原子广播协议。在 ZooKeeper 中，主要依赖 ZAB 协议来实现分布式数据一致性，基于该协议，ZooKeeper 实现了一种主备模式的系统架构来保持集群中各个副本之间的数据一致性。
- Raft：相对容易理解的算法，著名分布式kv存储etcd使用的分布式算法。
- Gossip：听的少，使用Gossip算法实现的组件有consul。
总的而言，分布式一致性算法就是为了解决分布式系统中非原子操作数据一致性的问题，相当于把原有单机中的操作系统的锁同步等操作应用到分布式环境中。本文不是讨论分布式一致性算法的文章，对分布式一致性算法只简单列举介绍，有兴趣的同学可以查阅更多资料了解。
ZooKeeper
Zookeeper 分布式服务框架是Apache Hadoop的一个子项目，它是一个针对大型分布式系统的高可用、高性能且具有一致性的开源协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，可以高可靠的维护元数据。提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的设计目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。
ZooKeeper 的安装
ZooKeeper单机安装非常简单，可以分为以下几步。
-
下载解压
# 1. 下载解压 mkdir -p /data/zk cd /data/zk tar -xzvf zookeeper-3.4.11.tar.gz -
创建必要目录
# 2. 创建必要目录 mkdir data mkdir log -
修改配置
# 3. 修改配置 cd /data/zk/zookeeper-3.4.11/conf cp zoo_sample.cfg zoo.cfg # 配置dataDir, dataLogDir vim zoo.cfg # 配置内容 dataDir=/data/zk/data dataLogDir=/data/zk/log
如果ZooKeeper需要集群安装，则需要在ZooKeeper节点之间的配置信息里同步其他节点的信息，例如：
server.0=172.16.10.12:8800:8801
server.1=172.16.10.189:8800:8801
server.2=172.16.11.36:8800:8801
ZooKeeper 的数据存储——Znode
Znode既可以作为保存数据的容器（如同文件），也可以作为保存其他Znode的容器（如同目录）。所有的Znode构成一个层次化的命名空间。一种自然的建立组成员列表的方式就是利用这种层次结构，创建一个以组名为节点名的Znode作为父节点，然后以组成员名为节点名来创建作为子节点的Znode。
Znode的类型：
-
PERSISTENT——持久化节点
客户端与ZooKeeper断开连接后，该节点依旧存在
-
PERSISTENT_SEQUENTIAL——持久化顺序编号节点
客户端与ZooKeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号
-
EPHEMERAL——临时节点
客户端与ZooKeeper断开连接后，该节点被删除
-
EPHEMERAL_SEQUENTIAL——临时顺序编号节点
客户端与ZooKeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号
ZooKeeper Python 客户端——Kazoo
ZooKeeper使用Java进行开发，官方只提供了Java、C/C++的操作接口，随着Python语言与ZooKeeper的关系越来越密切，对于操作ZooKeeper更加简单的诉求也越来越多，Kazoo就是纯Python语言封装的操作ZooKeeper的客户端。
Kazoo操作Znode
获取ZK实例
from kazoo.client import KazooClient
'''
kazoo CRUD demo
'''
ZK_ADDR = '192.168.149.134:2181'
zk_instance = None
def init():
'''
获取kazoo client 实例
:return:
'''
global zk_instance
if zk_instance:
return zk_instance
zk_instance = KazooClient(hosts=ZK_ADDR)
zk_instance.start()
return zk_instance
增加Znode记录
# 增
def create_node():
zk_node_path = '/data/zk/kazoo/demo'
zk = init()
# 保证节点路径存在
zk.ensure_path(zk_node_path)
# 创建永久节点
zk_node = 'persistent_node'
data = b'this is a persistent node.'
zk.create('%s/%s' % (zk_node_path, zk_node), data, ephemeral=False)
print('Create node: %s with data: %s.' % (zk_node_path, data))
# 创建临时节点
zk_node = 'ephemeral_node'
data = b'this is a persistent node.'
zk.create('%s/%s' % (zk_node_path, zk_node), data, ephemeral=True)
print('Create node: %s with data: %s.' % (zk_node_path, data))
查询Znode记录
# 查
def read_node():
zk_node_path = '/data/zk/kazoo/demo'
zk = init()
# 读取zk_node_path路径下的子节点
nodes = zk.get_children(zk_node_path)
print('Node: %s has this children: %s' % (zk_node_path, str(nodes)))
# 读取节点内容
for node in nodes:
node = '%s/%s' % (zk_node_path, node)
data = zk.get(node)
print('Node: %s, Data: %s' % (node, data))
修改Znode记录
# 改
def update_node():
zk_node_path = '/data/zk/kazoo/demo'
zk_node = 'persistent_node'
zk_node = '%s/%s' % (zk_node_path, zk_node)
zk = init()
data = zk.get(zk_node)
print('Before update, Node: %s => Data: %s.' % (zk_node, data))
new_data = b'update node.'
zk.set(zk_node, new_data)
data = zk.get(zk_node)
print('After update, Node: %s => Data: %s.' % (zk_node, data))
删除Znode记录
def delete_node():
zk_node_path = '/data/zk'
zk = init()
zk.delete(zk_node_path, recursive=True)
print('Delete node: %s' % zk_node_path)
原文链接