【Hadoop】ZooKeeper的简单理解

1 ZooKeeper的一致性特点

概念	描述	备注
顺序一致性	以ZXID来保证事务的顺序性
原子性	以ZAB保证原子操作，要么成功，要么失败
单一视图	无论客户端从哪个服务器获取到关于应用的数据都是一致的
可靠	以版本来实现“写入校验”，保证数据的写入正确性
实时	以性能保证实时	.

2 ZK的设计目标

概念	描述	备注
简单的数据模型	类似于传统文件系统的“树”结构，Znode用绝对路径标识
构建集群	可以通过多个ZooKeeper服务器组建集群，以leader+follower+observer的形式组成，满足“过半存活”即可用，推荐集群数为单数3、5、7…
顺序访问	用ZXID的递增来保证事务的顺序性
高性能	读性能/写性能 = 10:1	.

3 ZK的系统模型

概念	描述	备注
数据模型	- 核心在于数据节点Znode，Znode可保存数据可挂载子节点 - 节点用路径标识 - 树结构 - 事务：每个能够改变ZK服务器状态的操作，如Znode的创建和删除、Znode的数据更新等 - 每个事务都会分配一个事务ID(ZXID)用于标识
节点特性	- 持久节点：直到被显示删除 - 临时节点：直到会话结束，不能挂载子节点	节点上会存储znode的信息，如znode的版本信息、znode子节点的版本信息、znode_acl的版本信息、子节点数、节点数据等信息
版本	- version——znode版本信息 - cversion——znode子节点版本信息 - aversion——acl版本信息	版本用于写入校验，当节点更新数据时发现版本号已经更改就会抛出异常
Wathcer机制	客户端向服务器注册一个监听器，当所监听的事件触发时，服务器会向客户端发送一个通知	客户端向ZK服务器注册Wathcer的同时会将Watcher对象存储在客户端的WatchManger中。当ZK触发Watcher事件后，会向client发通知，client会从WM中对Watcher执行回调

4 ZK的ZAB协议（原子广播协议）

适用于ZooKeeper上一种支持崩溃恢复的原子广播协议

概念	描述	备注
崩溃恢复	1.leader崩溃 2.选举新的leader（拥有所有服务器中最高编号的ZXID的服务器） 3.进行数据同步，将leader服务器中的事务作为基准，所有follower中的事务与leader服务器中的事务进行同步 4.抛弃follower中有的而leader中没有的事务	ZXID组成64位的数字，前32位为周期（即leader选举一次+1），后32位为事务操作次数（每增加一次事务+1）
消息广播	1.leader接收客户端请求，判断请求是否为事务，若是则将请求转换为事务proposal，为每个follower建立单独队列，进行FIFO 2.follower接收到事务之后将事务写到本地磁盘后，回复leader（ack） 3.leader接收follower返回的ack，超过半数的follwer进行ack，那么leader就会发送提交指令	.

5 ZK的数据存储

概念	描述	备注
DataTree	用于存储zk上所有节点信息
DataNode	用于存储每个节点路径、节点数据、acl、版本信息和子节点信息
ZkDatabase	内存数据库，存储会话、DataTree和事务日志，会定时写数据到本地磁盘
日志	- 存储在dataLogDir/version-/log.zxid中 - 格式：会话ID、客户端ID、ZXID、操作类型、节点路径和节点内容等
数据快照	- 存储在dataDir/version-2/snapshot.zxid - 记录ZK上某一时刻的全量内存数据内容，并写到指定的文件中 - 只存储元数据	.

6 ZK的服务器角色

概念	描述	备注
leader	- 事务请求的唯一调度和处理者，保证集群事务处理的顺序性 - 集群内各服务器的调度者 leader会与每个follower和observer建立一个tcp长连接，并且为每个follower和observer建立一个learnerhandler，进行数据同步，请求转发和proposal投票等功能
follwer	- 处理客户端的非事务请求，转发事务请求给leader - 参与事务请求Proposal投票 - 参与leader选举投票 - 判断当前请求是否为事务请求，若是则转发给leader完成事务日志记录后，向leader发送ack信息
observer	- 工作原理同follower不参与任何形式的投票，提供非事务服务	.

Propsal投票：每一个事务都需要集群中超过半数的机器投票认可才能被真正地应用到ZK的内存数据库中。

7 ZK的搭建要点

注意在配置文件配置dataDir和dataLogDir
配置端口

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/home/hadoop/data/zookeeper/zkdata
dataLogDir=/home/hadoop/data/zookeeper/zkdatalog
# the port at which the clients will connect
clientPort=2181
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
server.4=slave3:2888:3888
server.5=slave4:2888:3888
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

以及在dataDir中创建myid，在里面写上当前机器的id数