zookeeper分布式技术基本概念（一）

问题背景

现在大部分公司所做的项目基本都是分布式的，简单介绍一下zookeeper分布式框架

zookeeper概述

1 通俗介绍

• zookeeper就像美团和饿了么平台一样，商家在平台上注册，用户挑选商家购买，商家是否当日开，zookeeper会做出通知
• zookeeper是一个开源的分布式（多台服务器干一件事）的，为分布式应用提供协调服务的Apache项目

2 工作机制

• Zookeeper是一个基于观察者模式设计的分布式服务管理框架
• 负责存储和管理需要的数据

  • 接受观察者的注册，当数据发生变化，zookeeper通知已经注册的观察者做出相应的反应
  • 实现类似集群的master/slave管理模式

• Zookeeper = 文件系统 + 通知机制

3 分布式和集群的区别

• 分布式：负责的工作不一样
• 集群：负责的工作一样

4 zookeeper的特点

• 是一个leader和多个follower来组成的集群
• 集群中只要有半数以上的节点存活，Zookeeper就能正常工作（5台服务器挂2台，没问题；4台服务器挂2台，就停止），所以单数比较好
• 全局数据一致性，每台服务器都保存一份相同的数据副本，无论client连接哪台server，数据都是一致的
• 数据更新原子性，一次数据要么成功，要么失败
• 实时性，在一定时间范围内，client能读取到最新数据
• 更新的请求按照顺序执行，会按照发送过来的顺序，逐一执行（发来123，执行123，而不是321或者别的）

5 数据结构

• ZooKeeper数据模型的结构与linux文件系统很类似，整体上可以看作是一棵树，每个节点称做一个ZNode（ZookeeperNode）
• 每一个ZNode默认能够存储1MB的数据（元数据），每个ZNode的路径都是唯一的元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、
  资源查找、文件记录等功能

6 应用场景

• 提供的服务：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等

6.1 统一命名服务

• 在分布式环境下，通常需要对应用或服务进行统一的命名，便于识别。例如：服务器的IP地址不容易记，但域名很容易记住

6.2 统一配置管理

• 将配置管理交给Zookeeper
• 将配置信息写入到Zookeeper的某个节点上
• 每个客户端应用都监听这个节点
• 一旦节点中的数据文件被修改，Zookeeper就会通知每台客户端服务器

6.3 服务器节点动态上下线

• 客户端能实时获取服务器上下线的变化
• 在美团APP上实时可以看到商家是否正在营业或打样

6.4 软负载均衡

• Zookeeper会记录每台服务器的访问数，让访问数最少的服务器去处理最新的客户请求

内部原理

1 选举机制

• 半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器

• 虽然在配置文件中并没有指定Master和Slave。但是，Zookeeper工作时，是有一个节点为Leader，其他则为Follower，Leader是通过内部的选举机制临时产生的

  
  
• Server1先投票，投给自己，自己为1票，没有超过半数，根本无法成为leader，顺水推舟将票数投给了id比自己大的Server2
• Server2也把自己的票数投给了自己，再加上Server1给的票数，总票数为2票，没有超过半数，也无法成为leader，也学习Server1，顺水推舟，将自己所有的票数给了id比自己大的Server3
• Server3得到了Server1和Server2的两票，再加上自己投给自己的一票。3票超过半数，顺利成为leader
• Server4和Server5都投给自己，但是无法改变Server3的票数，只好听天由命，承认Server3是leader

2 节点类型，序号是相当于i++，和数据库中的自增长类似

• 持久型（persistent）：

  • 持久化目录节点（persistent）客户端应用与zookeeper断开连接后，该节点依旧存在
  • 持久化顺序编号目录节点（persistent_sequential）客户端与zookeeper断开连接后，该节
    点依旧存在，创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调
    递增的计数器，由父节点维护，例如：Znode001，Znode002...

• 短暂型（ephemeral）：

  • 临时目录节点（ephemeral）客户端应用和zookeeper断开连接后，创建的节点自动删除
  • 临时顺序编号目录节点（ephemeral_sequential）客户端与zookeeper断开连接后，该节点
    被删除，创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增
    的计数器，由父节点维护，例如：Znode001，Znode002...

3 监听器原理

• 在main方法中创建Zookeeper客户端的同时就会创建两个线程，一个负责网络连接通信，一个负责监听
• 监听事件就会通过网络通信发送给zookeeper
• zookeeper获得注册的监听事件后，立刻将监听事件添加到监听列表里
• zookeeper监听到 数据变化 或 路径变化，就会将这个消息发送给监听线程
• 监听线程就会在内部调用process方法（需要实现process方法）

4 写数据流程

• Client 想向 ZooKeeper 的 Server1 上写数据，必须的先发送一个写的请求
• 如果Server1不是Leader，那么Server1 会把接收到的请求进一步转发给Leader。
• 这个Leader 会将写请求广播给各个Server，各个Server写成功后就会通知Leader。
• 当Leader收到半数以上的 Server 数据写成功了，那么就说明数据写成功了。
• 随后，Leader会告诉Server1数据写成功了。
• Server1会反馈通知 Client 数据写成功了，整个流程结束

心得

了解zookeeper基本原理，下个篇章讲一下zookeeper的简单项目使用加深理解

作为程序员第 85 篇文章，每次写一句歌词记录一下，看看人生有几首歌的时间，wahahaha ...

Lyric：我向前去追