一、部署方式
k8s 以statefulset方式部署zookeeper集群
二、statefulset简介
StatefulSet是Kubernetes提供的管理有状态应用的负载管理控制器API。在Pods管理的基础上，保证Pods的顺序和一致性。与Deployment一样，StatefulSet也是使用容器的Spec来创建Pod，与之不同StatefulSet创建的Pods在生命周期中会保持持久的标记（例如Pod Name）。
StatefulSet适用于具有以下特点的应用：
具有固定的网络标记（主机名）
具有持久化存储
需要按顺序部署和扩展
需要按顺序终止及删除
需要按顺序滚动更新
二、安装NFS
2.1 NFS安装与配置
详见NFS服务安装与配置
2.2 创建 zookeeper pv挂载目录
mkdir /data/tools/zk/pv
2.3 将zookeeper pv挂载目录
2.3.1 方法一
直接挂载到NFS共享目录
2.3.2 方法二
将创建的zookeeper pv挂载目录再挂载到NFS共享目录。
注：若都zk pv path都挂载到共享目录，则zk pv path不能相同
举例：
zk3个节点的path 对应NFS共享目录
共享目录1：/data/tools/pv/zk01
共享目录2：/data/tools/pv/zk02
共享目录3：/data/tools/pv/zk03
zk有3个节点要挂3个pv
pv1 name:k8s-pv-zk1
pv1 path:/data/tools/pv/zk01
pv2 name: k8s-pv-zk2
pv2 path: /data/tools/pv/zk02
pv3 name: k8s-pv-zk3
pv3 path: /data/tools/pv/zk03
注：pv path的路径要与NFS共享目录保持一致。
三、创建PV与PVC
3.1 PV与PVC简介
PersistentVolume（PV）是集群中由管理员配置的一段网络存储。 它是集群中的资源，就像节点是集群资源一样。 PV是容量插件，如Volumes，但其生命周期独立于使用PV的任何单个pod。 此API对象捕获存储实现的详细信息，包括NFS，iSCSI或特定于云提供程序的存储系统。
PersistentVolumeClaim（PVC）是由用户进行存储的请求。 它类似于pod。 Pod消耗节点资源，PVC消耗PV资源。Pod可以请求特定级别的资源（CPU和内存）。声明可以请求特定的大小和访问模式（例如，可以一次读/写或多次只读）。
3.2 编写PV与PVC的yaml文件
zookeeper-pv.yaml
kind: PersistentVolume
apiVersion: v1
metadata:
name: k8s-pv-zk1
namespace: tools
annotations:
volume.beta.kubernetes.io/storage-class: "anything"
labels:
type: local
spec:
capacity:
storage: 5Gi
accessModes:
- ReadWriteOnce
hostPath:
path:/data/tools/pv/zk01
persistentVolumeReclaimPolicy: Recycle
---
kind: PersistentVolume
apiVersion: v1
metadata:
name: k8s-pv-zk2
namespace: tools
annotations:
volume.beta.kubernetes.io/storage-class: "anything"
labels:
type: local
spec:
capacity:
storage: 5Gi
accessModes:
- ReadWriteOnce
hostPath:
path:/data/tools/pv/zk02
persistentVolumeReclaimPolicy: Recycle
---
kind: PersistentVolume
apiVersion: v1
metadata:
name: k8s-pv-zk3
namespace: tools
annotations:
volume.beta.kubernetes.io/storage-class: "anything"
labels:
type: local
spec:
capacity:
storage: 5Gi
accessModes:
- ReadWriteOnce
hostPath:
path:/data/tools/pv/zk03
persistentVolumeReclaimPolicy: Recycle
注：以上方式是同时创建PV与PVC的yaml文件
3.3 创建pv与pvc
kubectl apply -f zookeeper-pv.yaml
四、创建zookeeper集群
4.1 编写zookeepr.yaml文件
apiVersion: v1
kind: Service
metadata:
name: zk-hs
namespace: tools
labels:
app: zk
spec:
ports:
- port: 2888
name: server
- port: 3888
name: leader-election
clusterIP: None
selector:
app: zk
---
apiVersion: v1
kind: Service
metadata:
name: zk-cs
namespace: tools
labels:
app: zk
spec:
type: NodePort
ports:
- port: 2181
nodePort: 21811
name: client
selector:
app: zk
---
apiVersion: policy/v1beta1
kind: PodDisruptionBudget
metadata:
name: zk-pdb
namespace: tools
spec:
selector:
matchLabels:
app: zk
maxUnavailable: 1
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: zk
namespace: tools
spec:
selector:
matchLabels:
app: zk
serviceName: zk-hs
replicas: 3 #设置节点数量
updateStrategy:
type: RollingUpdate
podManagementPolicy: Parallel
template:
metadata:
labels:
app: zk
spec:
containers:
- name: zk
imagePullPolicy: Always
image: "zookeeper 镜像pull地址"
resources:
requests:
memory: "500Mi"
cpu: "0.5"
ports:
- containerPort: 2181
name: client
- containerPort: 2888
name: server
- containerPort: 3888
name: leader-election
command:
- sh
- -c
- "/data/ecs/zookeeper-3.4.3/bin/start-zookeeper.sh \
--servers=3 \
--data_dir=/data/zookeeper/data \
--data_log_dir=/data/zookeeper/data_log_dir \
--log_dir=/data/zookeeper/log \
--client_port=2181 \
--election_port=3888 \
--server_port=2888 \
--tick_time=2000 \
--init_limit=10 \
--sync_limit=5 \
--heap=512M \
--max_client_cnxns=60 \
--snap_retain_count=3 \
--purge_interval=12 \
--max_session_timeout=80000 \
--min_session_timeout=8000 \
--log_level=DEBUG"
readinessProbe:
exec:
command:
- sh
- -c
- "/data/zookeeper-3.4.3/bin/zookeeper-ready.sh 2181"
initialDelaySeconds: 10
timeoutSeconds: 5
livenessProbe:
exec:
command:
- sh
- -c
- "/data/zookeeper-3.4.3/bin/zookeeper-ready.sh 2181"
initialDelaySeconds: 10
timeoutSeconds: 5
volumeMounts:
- name: datadir
mountPath: /data/zookeeper
#securityContext:
# runAsUser: 1000
# fsGroup: 1000
volumeClaimTemplates:
- metadata:
name: datadir
annotations:
volume.beta.kubernetes.io/storage-class: "anything"
spec:
accessModes: [ "ReadWriteOnce" ]
resources:
requests:
storage: 500Mi
4.2 执行zookeeper.yaml文件
kubectl apply -f zookeeper.yaml
4.3 对外暴露访问端口
#创建zkService.yaml
touch zkService.yaml
#zkService.yaml内容
apiVersion: v1
kind: Service
metadata:
name: zk-cs
namespace: tools
labels:
app: zk
spec:
type: NodePort
ports:
- port: 2181
nodePort: 21811
name: client
selector:
app: zk
注：nodePort为对外暴露端口，端口号必须5位数字。建议与zookeeper.yaml合并。
#执行zookeeper.yaml文件
kubectl apply -f zookeeper.yaml
五、检查节点 zookeeper是否启动成功
5.1 检查zookeeper服务是否启动成功
docker ps -a|grep zk zk为name
zookeeper服务启动成功
5.2 检查集群是否启动成功
#进入容器
docker exec -it 3612d5a53590 /bin/bash
#cd到zookeeper部署目录
cd /data/zookeeper-3.4.3/bin
#检查服务状态
./zkServer.sh status
显示如下表示启动成功：
JMX enabled by default
Using config: /data/zookeeper-3.4.3/bin/../conf/zoo.cfg
Mode: leader/follower
注：3个节点会有一个leader,2个follower
显示如下表示启动失败：
JMX enabled by default
Using config: /data/zookeeper-3.4.3/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.
六、遇到的坑
问题一：pvc创建成功后状态为 pending
原因：pv与pvc的storage不一样，pvc的storage只能小于或等pvc的storage
解决方法：
1、修改pvc的yam文件，将storage值修改为小于或等pv的storage值
2、删除pvc
3、重新创建pvc
问题二：启动zk提示没有权限
原因：StatefulSet指定了用户使用非root用户部署
解决方法：注释StatefulSet中以下内容
#securityContext:
# runAsUser: 1000
# fsGroup: 1000
问题三：zookeeper启动成功但集群没有启动成功
错误描述：
JMX enabled by default
Using config: /data/ecs/zookeeper-3.4.3/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.
原因一：创建数据目录的myid的值与zoo.cfg的server.1=ip:2888:3888
注：创建数据目录,zoo.cfg配置文件里dataDir指定的那个目录下创建myid文件,并且指定id,改id为你zoo.cfg文件中server.1=ip:2888:3888中的1.只要在myid头部写入1即可.同理其它两台机器的id对应上。
例：
节点1 server.1=ip:2888:3888
节点2 server.2=ip:2888:3888
节点1的 myid内容为1
节点2的 myid内容为2
解决方法一：
1、进入zookeeper部署的容器，
2、删除/data/zookeeper/data下所有内容
3、kill所有节点 zookeeper进程，让zookeeper重新启动。
解决方法二：
升级zookeeper版本至3.4.4及以上