喝不完一杯咖啡

【Kubernetes】记录一次基于ucloud/redis-cluster-operator的可行性测试

文章目录

准备工作
- 集群信息
- 环境准备
重启k8s node
大量pod重建
- operator正常
- - 遇到的问题
  - 解决方法
- operator停止
结论

准备工作

集群信息

该集群使用了calico vxlan网络模式，每个node上面都有calicoctlo工具，可用于管理网络配置；
master节点没有设置污点，所以master节点也可以分配pod；

集群中redis集群使用的ip池数量改为256，模拟ip池紧张的情况。

[root@172 ~]# calicoctl ipam show
+----------+---------------+-----------+------------+--------------+
| GROUPING |     CIDR      | IPS TOTAL | IPS IN USE |   IPS FREE   |
+----------+---------------+-----------+------------+--------------+
| IP Pool  | 172.20.0.0/16 |     65536 | 0 (0%)     | 65536 (100%) |
| IP Pool  | 172.21.0.0/24 |       256 | 256 (100%) | 0 (0%)       |
+----------+---------------+-----------+------------+--------------+
[root@172 ~]# 
[root@172 ~]#

环境准备

新搭建一个6个节点的k8s集群
存储使用ceph，集群安装redis-cluster-operator
部署Prometheus、Alertmanager（部署参考）
模拟测试环境负载，每个k8s节点上创建100个pod
部署redis-cluster-operator(Git地址)
创建20个3主3从的redis集群(每个集群6个节点)
每次测试完一个项目之后，使用命令：kubectl -n redis delete pod --all删除所有redis pod，此时operator会重新组建所有redis集群，使状态归零

重启k8s node

该步骤主要是模拟k8s集群中节点故障的情况，主要场景有：

k8s机器故障(重启、关机)
k8s机器网络故障

将172.29.64.102关机：

[root@172 ~]# 
[root@172 ~]# kubectl get no
NAME            STATUS     ROLES    AGE     VERSION
172.29.64.102   NotReady      153m    v1.18.14
172.29.64.103   Ready         34m     v1.18.14
172.29.64.53    Ready         45h     v1.18.14
172.29.64.54    Ready         6d18h   v1.18.14
172.29.64.61    Ready         2d23h   v1.18.14
172.29.64.62    Ready         47h     v1.18.14
[root@172 ~]# 
[root@172 ~]#

关机之后，该node上的redis集群pod变成Terminating状态：

如果有master节点在当前重启的机器上，会自动failover，当前master转为fail状态，如果为replica，则不做处理。

对于statefulset管理的pod，在宿主机故障后，并不会飘走，会在宿主机恢复之后，继续在当前宿主机上重建。

在此将该node开机，pod会在该node上重建：

集群拓扑恢复：

禁用k8s主机网卡(ifdown eth0)后，现象和关机、重启效果是一致的，并且operator启用或者停止并不影响结论。所以对于这类故障，只要保证同一个redis集群中，少于半数的master不分配到同一个node，以及同一组master和replica不被分配到统一个node即可。

大量pod重建

在operator正常和停止两种情况下，模拟pod大量重建的情况，主要的测试方法有：

手动删除k8s node，使该node上的pod全部飘走
使用命令kubectl drain命令驱逐pod

operator正常

准备删除的node：172.29.64.61，记录当前node上的redis集群pod

[root@172 ~]# kubectl get pod -n redis -o wide |grep 172.29.64.61
drc-redis-1jndu3-2-1                      2/2     Running   0          3d19h   172.21.0.29    172.29.64.61   
drc-redis-98ehc7-0-1                      2/2     Running   0          3d19h   172.21.0.22    172.29.64.61   
drc-redis-ak8sh2-0-1                      2/2     Running   0          3d19h   172.21.0.26    172.29.64.61   
drc-redis-c9mws6-0-1                      2/2     Running   0          3d19h   172.21.0.17    172.29.64.61   
drc-redis-ghs8a2-0-1                      2/2     Running   0          3d19h   172.21.0.43    172.29.64.61   
drc-redis-gosm29-2-1                      2/2     Running   0          3d19h   172.21.0.24    172.29.64.61   
drc-redis-iu9sh3-2-1                      2/2     Running   0          3d19h   172.21.0.232   172.29.64.61   
drc-redis-j3dhc8-0-1                      2/2     Running   0          3d19h   172.21.0.27    172.29.64.61   
drc-redis-j7dn5b-0-1                      2/2     Running   0          3d19h   172.21.0.42    172.29.64.61   
drc-redis-k93ks7-1-1                      2/2     Running   0          3d19h   172.21.0.31    172.29.64.61   
drc-redis-l092sh-0-0                      2/2     Running   0          3d19h   172.21.0.7     172.29.64.61   
drc-redis-ls927h-2-0                      2/2     Running   0          3d19h   172.21.0.4     172.29.64.61   
drc-redis-m92j3c-1-1                      2/2     Running   0          3d19h   172.21.0.18    172.29.64.61   
drc-redis-n82sk2-1-1                      2/2     Running   0          3d19h   172.21.0.16    172.29.64.61   
drc-redis-n82sk2-2-0                      2/2     Running   0          3d19h   172.21.0.5     172.29.64.61   
drc-redis-nsh38d-2-1                      2/2     Running   0          3d19h   172.21.0.23    172.29.64.61   
drc-redis-ois92k-0-0                      2/2     Running   0          3d19h   172.21.0.20    172.29.64.61   
drc-redis-qw8js2-0-1                      2/2     Running   0          3d19h   172.21.0.30    172.29.64.61   
drc-redis-qw8js2-1-1                      2/2     Running   0          3d19h   172.21.0.28    172.29.64.61   
drc-redis-su7cm2-0-1                      2/2     Running   0          3d19h   172.21.0.25    172.29.64.61   
drc-redis-v92ks7-2-0                      2/2     Running   0          3d19h   172.21.0.10    172.29.64.61   
drc-redis-xw8dn2-1-1                      2/2     Running   0          3d19h   172.21.0.38    172.29.64.61   
drc-redis-xw8dn2-2-0                      2/2     Running   0          3d19h   172.21.0.19    172.29.64.61   
drc-redis-z8w2km-0-0                      2/2     Running   0          3d19h   172.21.0.6     172.29.64.61   
drc-redis3yphqg3p4a-2-0                   2/2     Running   0          3d19h   172.21.0.2     172.29.64.61   
[root@172 ~]#

选择一个pod，查看当前集群的信息：drc-redis-1jndu3-2-1

172.21.0.29:6379: bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 172.21.0.29:6379@16379 myself,slave e46663ae4a145083e48a499071d26062a7ed7b4d 0 1657002760000 27 connected
e46663ae4a145083e48a499071d26062a7ed7b4d 172.21.0.86:6379@16379 master - 0 1657002761000 30 connected 5461-10922
f7aef53b45415f54aefca34a3d1f66fe875f175f 172.21.0.114:6379@16379 master - 0 1657002760000 31 connected 10923-16383
c43bf83866789ce61af36781054c5a68ddb0da39 172.21.0.255:6379@16379 slave 725e267685d4ad18fe92d686c917294f4e972295 0 1657002761847 29 connected
725e267685d4ad18fe92d686c917294f4e972295 172.21.0.90:6379@16379 master - 0 1657002761000 29 connected 0-5460
b1d2ac39655e91ef5f2c993062cd580ce5b213fd 172.21.0.164:6379@16379 slave f7aef53b45415f54aefca34a3d1f66fe875f175f 0 1657002760000 31 connected
172.21.0.29:6379: cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:31
cluster_my_epoch:30
cluster_stats_messages_ping_sent:323215
cluster_stats_messages_pong_sent:341985
cluster_stats_messages_meet_sent:6
cluster_stats_messages_sent:665206
cluster_stats_messages_ping_received:341979
cluster_stats_messages_pong_received:323220
cluster_stats_messages_meet_received:6
cluster_stats_messages_received:665205

执行删除node的操作：

systemctl stop kubelet 过一会之后该node变为NotReady状态，该node上的pod状态变为Terminating

[root@172 ~]# kubectl get no
NAME            STATUS     ROLES    AGE     VERSION
172.29.64.102   Ready         3d21h   v1.18.14
172.29.64.103   Ready         3d20h   v1.18.14
172.29.64.53    Ready         6d18h   v1.18.14
172.29.64.54    Ready         3d18h   v1.18.14
172.29.64.61    NotReady   master   20d     v1.18.14
172.29.64.62    Ready         6d23h   v1.18.14
[root@172 ~]# 
[root@172 ~]# kubectl get pod -n redis -o wide |grep 172.29.64.61
drc-redis-1jndu3-2-1                      2/2     Terminating   0          3d19h   172.21.0.29    172.29.64.61   
drc-redis-98ehc7-0-1                      2/2     Terminating   0          3d19h   172.21.0.22    172.29.64.61   
drc-redis-ak8sh2-0-1                      2/2     Terminating   0          3d19h   172.21.0.26    172.29.64.61   
drc-redis-c9mws6-0-1                      2/2     Terminating   0          3d19h   172.21.0.17    172.29.64.61   
drc-redis-ghs8a2-0-1                      2/2     Terminating   0          3d19h   172.21.0.43    172.29.64.61   
drc-redis-gosm29-2-1                      2/2     Terminating   0          3d19h   172.21.0.24    172.29.64.61   
drc-redis-iu9sh3-2-1                      2/2     Terminating   0          3d19h   172.21.0.232   172.29.64.61   
drc-redis-j3dhc8-0-1                      2/2     Terminating   0          3d19h   172.21.0.27    172.29.64.61   
drc-redis-j7dn5b-0-1                      2/2     Terminating   0          3d19h   172.21.0.42    172.29.64.61   
drc-redis-k93ks7-1-1                      2/2     Terminating   0          3d19h   172.21.0.31    172.29.64.61   
drc-redis-l092sh-0-0                      2/2     Terminating   0          3d19h   172.21.0.7     172.29.64.61   
drc-redis-ls927h-2-0                      2/2     Terminating   0          3d19h   172.21.0.4     172.29.64.61   
drc-redis-m92j3c-1-1                      2/2     Terminating   0          3d19h   172.21.0.18    172.29.64.61   
drc-redis-n82sk2-1-1                      2/2     Terminating   0          3d19h   172.21.0.16    172.29.64.61   
drc-redis-n82sk2-2-0                      2/2     Terminating   0          3d19h   172.21.0.5     172.29.64.61   
drc-redis-nsh38d-2-1                      2/2     Terminating   0          3d19h   172.21.0.23    172.29.64.61   
drc-redis-ois92k-0-0                      2/2     Terminating   0          3d19h   172.21.0.20    172.29.64.61   
drc-redis-qw8js2-0-1                      2/2     Terminating   0          3d19h   172.21.0.30    172.29.64.61   
drc-redis-qw8js2-1-1                      2/2     Terminating   0          3d19h   172.21.0.28    172.29.64.61   
drc-redis-su7cm2-0-1                      2/2     Terminating   0          3d19h   172.21.0.25    172.29.64.61   
drc-redis-v92ks7-2-0                      2/2     Terminating   0          3d19h   172.21.0.10    172.29.64.61   
drc-redis-xw8dn2-1-1                      2/2     Terminating   0          3d19h   172.21.0.38    172.29.64.61   
drc-redis-xw8dn2-2-0                      2/2     Terminating   0          3d19h   172.21.0.19    172.29.64.61   
drc-redis-z8w2km-0-0                      2/2     Terminating   0          3d19h   172.21.0.6     172.29.64.61   
drc-redis3yphqg3p4a-2-0                   2/2     Terminating   0          3d19h   172.21.0.2     172.29.64.61

但是集群的信息还是正常的

[root@172 ~]# kubectl -n redis exec drc-redis-1jndu3-0-0 -- redis-cli -a 123456 --cluster call 172.21.0.114:6379 cluster nodes 
Defaulting container name to redis.
Use 'kubectl describe pod/drc-redis-1jndu3-0-0 -n redis' to see all of the containers in this pod.
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Calling cluster nodes
172.21.0.114:6379: b1d2ac39655e91ef5f2c993062cd580ce5b213fd 172.21.0.164:6379@16379 slave f7aef53b45415f54aefca34a3d1f66fe875f175f 0 1657003838667 31 connected
725e267685d4ad18fe92d686c917294f4e972295 172.21.0.90:6379@16379 master - 0 1657003835000 29 connected 0-5460
c43bf83866789ce61af36781054c5a68ddb0da39 172.21.0.255:6379@16379 slave 725e267685d4ad18fe92d686c917294f4e972295 0 1657003837665 29 connected
e46663ae4a145083e48a499071d26062a7ed7b4d 172.21.0.86:6379@16379 master - 0 1657003835661 30 connected 5461-10922
f7aef53b45415f54aefca34a3d1f66fe875f175f 172.21.0.114:6379@16379 myself,master - 0 1657003836000 31 connected 10923-16383
bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 172.21.0.29:6379@16379 slave e46663ae4a145083e48a499071d26062a7ed7b4d 0 1657003837000 30 connected

172.21.0.164:6379: e46663ae4a145083e48a499071d26062a7ed7b4d 172.21.0.86:6379@16379 master - 0 1657003837000 30 connected 5461-10922
f7aef53b45415f54aefca34a3d1f66fe875f175f 172.21.0.114:6379@16379 master - 0 1657003836000 31 connected 10923-16383
c43bf83866789ce61af36781054c5a68ddb0da39 172.21.0.255:6379@16379 slave 725e267685d4ad18fe92d686c917294f4e972295 0 1657003838113 29 connected
b1d2ac39655e91ef5f2c993062cd580ce5b213fd 172.21.0.164:6379@16379 myself,slave f7aef53b45415f54aefca34a3d1f66fe875f175f 0 1657003835000 28 connected
bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 172.21.0.29:6379@16379 slave e46663ae4a145083e48a499071d26062a7ed7b4d 0 1657003837112 30 connected
725e267685d4ad18fe92d686c917294f4e972295 172.21.0.90:6379@16379 master - 0 1657003837000 29 connected 0-5460

172.21.0.90:6379: b1d2ac39655e91ef5f2c993062cd580ce5b213fd 172.21.0.164:6379@16379 slave f7aef53b45415f54aefca34a3d1f66fe875f175f 0 1657003836901 31 connected
e46663ae4a145083e48a499071d26062a7ed7b4d 172.21.0.86:6379@16379 master - 0 1657003838903 30 connected 5461-10922
f7aef53b45415f54aefca34a3d1f66fe875f175f 172.21.0.114:6379@16379 master - 0 1657003836000 31 connected 10923-16383
725e267685d4ad18fe92d686c917294f4e972295 172.21.0.90:6379@16379 myself,master - 0 1657003837000 29 connected 0-5460
c43bf83866789ce61af36781054c5a68ddb0da39 172.21.0.255:6379@16379 slave 725e267685d4ad18fe92d686c917294f4e972295 0 1657003837902 29 connected
bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 172.21.0.29:6379@16379 slave e46663ae4a145083e48a499071d26062a7ed7b4d 0 1657003837000 30 connected

172.21.0.255:6379: f7aef53b45415f54aefca34a3d1f66fe875f175f 172.21.0.114:6379@16379 master - 0 1657003836708 31 connected 10923-16383
725e267685d4ad18fe92d686c917294f4e972295 172.21.0.90:6379@16379 master - 0 1657003837709 29 connected 0-5460
c43bf83866789ce61af36781054c5a68ddb0da39 172.21.0.255:6379@16379 myself,slave 725e267685d4ad18fe92d686c917294f4e972295 0 1657003838000 24 connected
bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 172.21.0.29:6379@16379 slave e46663ae4a145083e48a499071d26062a7ed7b4d 0 1657003837000 30 connected
b1d2ac39655e91ef5f2c993062cd580ce5b213fd 172.21.0.164:6379@16379 slave f7aef53b45415f54aefca34a3d1f66fe875f175f 0 1657003838712 31 connected
e46663ae4a145083e48a499071d26062a7ed7b4d 172.21.0.86:6379@16379 master - 0 1657003835000 30 connected 5461-10922

172.21.0.86:6379: bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 172.21.0.29:6379@16379 slave e46663ae4a145083e48a499071d26062a7ed7b4d 0 1657003837672 30 connected
f7aef53b45415f54aefca34a3d1f66fe875f175f 172.21.0.114:6379@16379 master - 0 1657003836000 31 connected 10923-16383
725e267685d4ad18fe92d686c917294f4e972295 172.21.0.90:6379@16379 master - 0 1657003837000 29 connected 0-5460
b1d2ac39655e91ef5f2c993062cd580ce5b213fd 172.21.0.164:6379@16379 slave f7aef53b45415f54aefca34a3d1f66fe875f175f 0 1657003835669 31 connected
c43bf83866789ce61af36781054c5a68ddb0da39 172.21.0.255:6379@16379 slave 725e267685d4ad18fe92d686c917294f4e972295 0 1657003838676 29 connected
e46663ae4a145083e48a499071d26062a7ed7b4d 172.21.0.86:6379@16379 myself,master - 0 1657003835000 30 connected 5461-10922

172.21.0.29:6379: bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 172.21.0.29:6379@16379 myself,slave e46663ae4a145083e48a499071d26062a7ed7b4d 0 1657003837000 27 connected
e46663ae4a145083e48a499071d26062a7ed7b4d 172.21.0.86:6379@16379 master - 0 1657003837808 30 connected 5461-10922
f7aef53b45415f54aefca34a3d1f66fe875f175f 172.21.0.114:6379@16379 master - 0 1657003836000 31 connected 10923-16383
c43bf83866789ce61af36781054c5a68ddb0da39 172.21.0.255:6379@16379 slave 725e267685d4ad18fe92d686c917294f4e972295 0 1657003835000 29 connected
725e267685d4ad18fe92d686c917294f4e972295 172.21.0.90:6379@16379 master - 0 1657003837000 29 connected 0-5460
b1d2ac39655e91ef5f2c993062cd580ce5b213fd 172.21.0.164:6379@16379 slave f7aef53b45415f54aefca34a3d1f66fe875f175f 0 1657003838809 31 connected

[root@172 ~]#

接下来删除node

[root@172 ~]# kubectl delete node 172.29.64.61 
node "172.29.64.61" deleted
[root@172 ~]# 
[root@172 ~]# kubectl get no
NAME            STATUS   ROLES    AGE     VERSION
172.29.64.102   Ready       3d21h   v1.18.14
172.29.64.103   Ready       3d20h   v1.18.14
172.29.64.53    Ready       6d18h   v1.18.14
172.29.64.54    Ready       3d18h   v1.18.14
172.29.64.62    Ready       6d23h   v1.18.14
[root@172 ~]#

这个node上的节点，开始漂移到别的node上

[root@172 ~]# kubectl get pod -n redis -o wide |grep ContainerCreating
drc-redis-1jndu3-2-1                      0/2     ContainerCreating   0          25s         172.29.64.54   
drc-redis-98ehc7-0-1                      0/2     ContainerCreating   0          24s         172.29.64.54   
drc-redis-ak8sh2-0-1                      0/2     ContainerCreating   0          24s         172.29.64.54   
drc-redis-c9mws6-0-1                      0/2     ContainerCreating   0          23s         172.29.64.54   
drc-redis-ghs8a2-0-1                      0/2     ContainerCreating   0          24s         172.29.64.54   
drc-redis-gosm29-2-1                      0/2     ContainerCreating   0          23s         172.29.64.54   
drc-redis-iu9sh3-2-1                      0/2     ContainerCreating   0          23s         172.29.64.54   
drc-redis-j3dhc8-0-1                      0/2     ContainerCreating   0          25s         172.29.64.54   
drc-redis-j7dn5b-0-1                      0/2     ContainerCreating   0          25s         172.29.64.54   
drc-redis-k93ks7-1-1                      0/2     ContainerCreating   0          25s         172.29.64.54   
drc-redis-l092sh-0-0                      0/2     ContainerCreating   0          23s         172.29.64.54   
drc-redis-ls927h-2-0                      0/2     ContainerCreating   0          23s         172.29.64.54   
drc-redis-m92j3c-1-1                      0/2     ContainerCreating   0          23s         172.29.64.54   
drc-redis-n82sk2-1-1                      0/2     ContainerCreating   0          24s         172.29.64.54   
drc-redis-n82sk2-2-0                      0/2     ContainerCreating   0          25s         172.29.64.54   
drc-redis-nsh38d-2-1                      0/2     ContainerCreating   0          25s         172.29.64.54   
drc-redis-ois92k-0-0                      0/2     ContainerCreating   0          23s         172.29.64.54   
drc-redis-qw8js2-0-1                      0/2     ContainerCreating   0          25s         172.29.64.54   
drc-redis-qw8js2-1-1                      0/2     ContainerCreating   0          24s         172.29.64.54   
drc-redis-su7cm2-0-1                      0/2     ContainerCreating   0          25s         172.29.64.54   
drc-redis-v92ks7-2-0                      0/2     ContainerCreating   0          23s         172.29.64.54   
drc-redis-xw8dn2-1-1                      0/2     ContainerCreating   0          25s         172.29.64.54   
drc-redis-xw8dn2-2-0                      0/2     ContainerCreating   0          25s         172.29.64.54   
drc-redis-z8w2km-0-0                      0/2     ContainerCreating   0          25s         172.29.64.54   
drc-redis3yphqg3p4a-2-0                   0/2     ContainerCreating   0          24s         172.29.64.54   
[root@172 ~]#

此时从redis的集群拓扑来看，pod对应的节点状态为fail

[root@172 ~]# kubectl -n redis exec drc-redis-1jndu3-0-0 -- redis-cli -a 123456 --cluster call 172.21.0.114:6379 cluster nodes 
Defaulting container name to redis.
Use 'kubectl describe pod/drc-redis-1jndu3-0-0 -n redis' to see all of the containers in this pod.
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Calling cluster nodes
Could not connect to Redis at 172.21.0.29:6379: Connection refused
172.21.0.114:6379: b1d2ac39655e91ef5f2c993062cd580ce5b213fd 172.21.0.164:6379@16379 slave f7aef53b45415f54aefca34a3d1f66fe875f175f 0 1657004264774 31 connected
725e267685d4ad18fe92d686c917294f4e972295 172.21.0.90:6379@16379 master - 0 1657004263769 29 connected 0-5460
c43bf83866789ce61af36781054c5a68ddb0da39 172.21.0.255:6379@16379 slave 725e267685d4ad18fe92d686c917294f4e972295 0 1657004262767 29 connected
e46663ae4a145083e48a499071d26062a7ed7b4d 172.21.0.86:6379@16379 master - 0 1657004261000 30 connected 5461-10922
f7aef53b45415f54aefca34a3d1f66fe875f175f 172.21.0.114:6379@16379 myself,master - 0 1657004262000 31 connected 10923-16383
bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 172.21.0.29:6379@16379 slave,fail e46663ae4a145083e48a499071d26062a7ed7b4d 1657003994975 1657003990000 30 disconnected

172.21.0.164:6379: e46663ae4a145083e48a499071d26062a7ed7b4d 172.21.0.86:6379@16379 master - 0 1657004264196 30 connected 5461-10922
f7aef53b45415f54aefca34a3d1f66fe875f175f 172.21.0.114:6379@16379 master - 0 1657004263000 31 connected 10923-16383
c43bf83866789ce61af36781054c5a68ddb0da39 172.21.0.255:6379@16379 slave 725e267685d4ad18fe92d686c917294f4e972295 0 1657004262000 29 connected
b1d2ac39655e91ef5f2c993062cd580ce5b213fd 172.21.0.164:6379@16379 myself,slave f7aef53b45415f54aefca34a3d1f66fe875f175f 0 1657004261000 28 connected
bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 172.21.0.29:6379@16379 slave,fail e46663ae4a145083e48a499071d26062a7ed7b4d 1657003992385 1657003990000 30 disconnected
725e267685d4ad18fe92d686c917294f4e972295 172.21.0.90:6379@16379 master - 0 1657004263193 29 connected 0-5460

172.21.0.90:6379: b1d2ac39655e91ef5f2c993062cd580ce5b213fd 172.21.0.164:6379@16379 slave f7aef53b45415f54aefca34a3d1f66fe875f175f 0 1657004264965 31 connected
e46663ae4a145083e48a499071d26062a7ed7b4d 172.21.0.86:6379@16379 master - 0 1657004263962 30 connected 5461-10922
f7aef53b45415f54aefca34a3d1f66fe875f175f 172.21.0.114:6379@16379 master - 0 1657004263000 31 connected 10923-16383
725e267685d4ad18fe92d686c917294f4e972295 172.21.0.90:6379@16379 myself,master - 0 1657004263000 29 connected 0-5460
c43bf83866789ce61af36781054c5a68ddb0da39 172.21.0.255:6379@16379 slave 725e267685d4ad18fe92d686c917294f4e972295 0 1657004262000 29 connected
bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 172.21.0.29:6379@16379 slave,fail e46663ae4a145083e48a499071d26062a7ed7b4d 1657003994180 1657003991177 30 disconnected

172.21.0.255:6379: f7aef53b45415f54aefca34a3d1f66fe875f175f 172.21.0.114:6379@16379 master - 0 1657004263814 31 connected 10923-16383
725e267685d4ad18fe92d686c917294f4e972295 172.21.0.90:6379@16379 master - 0 1657004264818 29 connected 0-5460
c43bf83866789ce61af36781054c5a68ddb0da39 172.21.0.255:6379@16379 myself,slave 725e267685d4ad18fe92d686c917294f4e972295 0 1657004262000 24 connected
bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 172.21.0.29:6379@16379 slave,fail e46663ae4a145083e48a499071d26062a7ed7b4d 1657003993057 1657003990053 30 disconnected
b1d2ac39655e91ef5f2c993062cd580ce5b213fd 172.21.0.164:6379@16379 slave f7aef53b45415f54aefca34a3d1f66fe875f175f 0 1657004261807 31 connected
e46663ae4a145083e48a499071d26062a7ed7b4d 172.21.0.86:6379@16379 master - 0 1657004261000 30 connected 5461-10922

172.21.0.86:6379: bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 172.21.0.29:6379@16379 slave,fail e46663ae4a145083e48a499071d26062a7ed7b4d 1657003994010 1657003990000 30 disconnected
f7aef53b45415f54aefca34a3d1f66fe875f175f 172.21.0.114:6379@16379 master - 0 1657004263000 31 connected 10923-16383
725e267685d4ad18fe92d686c917294f4e972295 172.21.0.90:6379@16379 master - 0 1657004263860 29 connected 0-5460
b1d2ac39655e91ef5f2c993062cd580ce5b213fd 172.21.0.164:6379@16379 slave f7aef53b45415f54aefca34a3d1f66fe875f175f 0 1657004261000 31 connected
c43bf83866789ce61af36781054c5a68ddb0da39 172.21.0.255:6379@16379 slave 725e267685d4ad18fe92d686c917294f4e972295 0 1657004264865 29 connected
e46663ae4a145083e48a499071d26062a7ed7b4d 172.21.0.86:6379@16379 myself,master - 0 1657004261000 30 connected 5461-10922

几分钟之后，pod全部重建完毕，集群恢复正常

此时集群的拓扑为：

[root@172 ~]# kubectl -n redis exec drc-redis-1jndu3-0-0 -- redis-cli -a 123456 --cluster call 172.21.0.114:6379 cluster nodes 
Defaulting container name to redis.
Use 'kubectl describe pod/drc-redis-1jndu3-0-0 -n redis' to see all of the containers in this pod.
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Calling cluster nodes
172.21.0.114:6379: b1d2ac39655e91ef5f2c993062cd580ce5b213fd 172.21.0.164:6379@16379 slave f7aef53b45415f54aefca34a3d1f66fe875f175f 0 1657004455000 31 connected
725e267685d4ad18fe92d686c917294f4e972295 172.21.0.90:6379@16379 master - 0 1657004456507 29 connected 0-5460
c43bf83866789ce61af36781054c5a68ddb0da39 172.21.0.255:6379@16379 slave 725e267685d4ad18fe92d686c917294f4e972295 0 1657004455505 29 connected
e46663ae4a145083e48a499071d26062a7ed7b4d 172.21.0.86:6379@16379 master - 0 1657004455000 30 connected 5461-10922
f7aef53b45415f54aefca34a3d1f66fe875f175f 172.21.0.114:6379@16379 myself,master - 0 1657004452000 31 connected 10923-16383
bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 172.21.0.7:6379@16379 slave e46663ae4a145083e48a499071d26062a7ed7b4d 0 1657004453501 30 connected

172.21.0.164:6379: e46663ae4a145083e48a499071d26062a7ed7b4d 172.21.0.86:6379@16379 master - 0 1657004455118 30 connected 5461-10922
f7aef53b45415f54aefca34a3d1f66fe875f175f 172.21.0.114:6379@16379 master - 0 1657004456120 31 connected 10923-16383
c43bf83866789ce61af36781054c5a68ddb0da39 172.21.0.255:6379@16379 slave 725e267685d4ad18fe92d686c917294f4e972295 0 1657004455000 29 connected
b1d2ac39655e91ef5f2c993062cd580ce5b213fd 172.21.0.164:6379@16379 myself,slave f7aef53b45415f54aefca34a3d1f66fe875f175f 0 1657004452000 28 connected
bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 172.21.0.7:6379@16379 slave e46663ae4a145083e48a499071d26062a7ed7b4d 0 1657004453000 30 connected
725e267685d4ad18fe92d686c917294f4e972295 172.21.0.90:6379@16379 master - 0 1657004453114 29 connected 0-5460

172.21.0.90:6379: b1d2ac39655e91ef5f2c993062cd580ce5b213fd 172.21.0.164:6379@16379 slave f7aef53b45415f54aefca34a3d1f66fe875f175f 0 1657004455000 31 connected
e46663ae4a145083e48a499071d26062a7ed7b4d 172.21.0.86:6379@16379 master - 0 1657004455000 30 connected 5461-10922
f7aef53b45415f54aefca34a3d1f66fe875f175f 172.21.0.114:6379@16379 master - 0 1657004456000 31 connected 10923-16383
725e267685d4ad18fe92d686c917294f4e972295 172.21.0.90:6379@16379 myself,master - 0 1657004454000 29 connected 0-5460
c43bf83866789ce61af36781054c5a68ddb0da39 172.21.0.255:6379@16379 slave 725e267685d4ad18fe92d686c917294f4e972295 0 1657004455657 29 connected
bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 172.21.0.7:6379@16379 slave e46663ae4a145083e48a499071d26062a7ed7b4d 0 1657004456659 30 connected

172.21.0.255:6379: f7aef53b45415f54aefca34a3d1f66fe875f175f 172.21.0.114:6379@16379 master - 0 1657004456517 31 connected 10923-16383
725e267685d4ad18fe92d686c917294f4e972295 172.21.0.90:6379@16379 master - 0 1657004454514 29 connected 0-5460
c43bf83866789ce61af36781054c5a68ddb0da39 172.21.0.255:6379@16379 myself,slave 725e267685d4ad18fe92d686c917294f4e972295 0 1657004455000 24 connected
bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 172.21.0.7:6379@16379 slave e46663ae4a145083e48a499071d26062a7ed7b4d 0 1657004453512 30 connected
b1d2ac39655e91ef5f2c993062cd580ce5b213fd 172.21.0.164:6379@16379 slave f7aef53b45415f54aefca34a3d1f66fe875f175f 0 1657004455516 31 connected
e46663ae4a145083e48a499071d26062a7ed7b4d 172.21.0.86:6379@16379 master - 0 1657004455000 30 connected 5461-10922

172.21.0.86:6379: bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 172.21.0.7:6379@16379 slave e46663ae4a145083e48a499071d26062a7ed7b4d 0 1657004456664 30 connected
f7aef53b45415f54aefca34a3d1f66fe875f175f 172.21.0.114:6379@16379 master - 0 1657004456000 31 connected 10923-16383
725e267685d4ad18fe92d686c917294f4e972295 172.21.0.90:6379@16379 master - 0 1657004453658 29 connected 0-5460
b1d2ac39655e91ef5f2c993062cd580ce5b213fd 172.21.0.164:6379@16379 slave f7aef53b45415f54aefca34a3d1f66fe875f175f 0 1657004455000 31 connected
c43bf83866789ce61af36781054c5a68ddb0da39 172.21.0.255:6379@16379 slave 725e267685d4ad18fe92d686c917294f4e972295 0 1657004455000 29 connected
e46663ae4a145083e48a499071d26062a7ed7b4d 172.21.0.86:6379@16379 myself,master - 0 1657004454000 30 connected 5461-10922

172.21.0.7:6379: e46663ae4a145083e48a499071d26062a7ed7b4d 172.21.0.86:6379@16379 master - 0 1657004455000 30 connected 5461-10922
b1d2ac39655e91ef5f2c993062cd580ce5b213fd 172.21.0.164:6379@16379 slave f7aef53b45415f54aefca34a3d1f66fe875f175f 0 1657004455000 31 connected
bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 172.21.0.7:6379@16379 myself,slave e46663ae4a145083e48a499071d26062a7ed7b4d 0 1657004453000 27 connected
f7aef53b45415f54aefca34a3d1f66fe875f175f 172.21.0.114:6379@16379 master - 0 1657004456215 31 connected 10923-16383
c43bf83866789ce61af36781054c5a68ddb0da39 172.21.0.255:6379@16379 slave 725e267685d4ad18fe92d686c917294f4e972295 0 1657004455213 29 connected
725e267685d4ad18fe92d686c917294f4e972295 172.21.0.90:6379@16379 master - 0 1657004454000 29 connected 0-5460

可以看到bcfe13a0763cc503ce1f7bd89cdc74174b13acc3这个节点的ip由之前的172.21.0.29变为了172.21.0.7

查看该节点的master节点日志

[root@172 ~]# kubectl get pod -n redis -o wide |grep 172.21.0.86
drc-redis-1jndu3-2-0                      2/2     Running   0          3d20h   172.21.0.86    172.29.64.103  
[root@172 ~]#

kubectl logs drc-redis-1jndu3-2-0 -n redis -c redis

1:M 05 Jul 2022 14:53:30.057 * FAIL message received from f7aef53b45415f54aefca34a3d1f66fe875f175f about bcfe13a0763cc503ce1f7bd89cdc74174b13acc3
1:M 05 Jul 2022 15:00:14.177 # Address updated for node bcfe13a0763cc503ce1f7bd89cdc74174b13acc3, now 172.21.0.7:6379
1:M 05 Jul 2022 15:00:14.311 * Clear FAIL state for node bcfe13a0763cc503ce1f7bd89cdc74174b13acc3: replica is reachable again.
1:M 05 Jul 2022 15:00:15.180 * Replica 172.21.0.7:6379 asks for synchronization
1:M 05 Jul 2022 15:00:15.180 * Unable to partial resync with replica 172.21.0.7:6379 for lack of backlog (Replica request was: 9731).
1:M 05 Jul 2022 15:00:15.180 * Starting BGSAVE for SYNC with target: disk
1:M 05 Jul 2022 15:00:15.180 * Background saving started by pid 9737
9737:C 05 Jul 2022 15:00:16.396 * DB saved on disk
9737:C 05 Jul 2022 15:00:16.396 * RDB: 0 MB of memory used by copy-on-write
1:M 05 Jul 2022 15:00:16.477 * Background saving terminated with success
1:M 05 Jul 2022 15:00:16.477 * Synchronization with replica 172.21.0.7:6379 succeeded

master已自动刷新replica的节点ip

接下来看，如果重启的redis pod是master的情况，正好使用刚才看的master节点drc-redis-1jndu3-2-0所在的172.29.64.103来测试

前面的步骤和现象基本一致，差异在于：执行完kubectl delete node之后，master节点重新创建pod，节点处于ContainerCreating时，replica发起复制请求，连接拒绝，几个重试周期之后，replica执行failover

1:S 05 Jul 2022 15:45:16.336 * MASTER <-> REPLICA sync started
1:S 05 Jul 2022 15:45:16.338 # Error condition on socket for SYNC: Connection refused
1:S 05 Jul 2022 15:45:17.341 * Connecting to MASTER 172.21.0.86:6379
1:S 05 Jul 2022 15:45:17.341 * MASTER <-> REPLICA sync started
1:S 05 Jul 2022 15:45:17.341 # Error condition on socket for SYNC: Connection refused
1:S 05 Jul 2022 15:45:18.345 * Connecting to MASTER 172.21.0.86:6379
1:S 05 Jul 2022 15:45:18.345 * MASTER <-> REPLICA sync started
1:S 05 Jul 2022 15:45:18.346 # Error condition on socket for SYNC: Connection refused
1:S 05 Jul 2022 15:45:18.846 # Start of election delayed for 936 milliseconds (rank #0, offset 466760).
1:S 05 Jul 2022 15:45:18.946 # Currently unable to failover: Waiting the delay before I can start a new failover.
1:S 05 Jul 2022 15:45:19.347 * Connecting to MASTER 172.21.0.86:6379
1:S 05 Jul 2022 15:45:19.347 * MASTER <-> REPLICA sync started
1:S 05 Jul 2022 15:45:19.348 # Error condition on socket for SYNC: Connection refused
1:S 05 Jul 2022 15:45:19.849 # Starting a failover election for epoch 33.
1:S 05 Jul 2022 15:45:19.946 # Currently unable to failover: Waiting for votes, but majority still not reached.
1:S 05 Jul 2022 15:45:19.949 # Failover election won: I'm the new master.
1:S 05 Jul 2022 15:45:19.949 # configEpoch set to 33 after successful failover
1:M 05 Jul 2022 15:45:19.949 # Setting secondary replication ID to 6789a5a7e12916e0919aacad98a9f6a976baff68, valid up to offset: 466761. New replication ID is 0cd8ea1beec717117ba7d707b39a5c0c023af7a2
1:M 05 Jul 2022 15:45:19.949 * Discarding previously cached master state.
1:M 05 Jul 2022 15:45:19.949 # Cluster state changed: ok

待pod重建完成后，会重新加入到集群，成为当前master的replica

1:M 05 Jul 2022 15:50:58.250 # Address updated for node e46663ae4a145083e48a499071d26062a7ed7b4d, now 172.21.0.225:6379
1:M 05 Jul 2022 15:50:58.380 * Clear FAIL state for node e46663ae4a145083e48a499071d26062a7ed7b4d: master without slots is reachable again.
1:M 05 Jul 2022 15:50:59.285 * Replica 172.21.0.225:6379 asks for synchronization
1:M 05 Jul 2022 15:50:59.285 * Partial resynchronization not accepted: Replication ID mismatch (Replica asked for 'f16cc5c63b5bb54f8a5a2fd2ab2bd8eb45fdf910', my replication IDs are '0cd8ea1beec717117ba7d707b39a5c0c023af7a2' and '6789a5a7e12916e0919aacad98a9f6a976baff68')
1:M 05 Jul 2022 15:50:59.285 * Starting BGSAVE for SYNC with target: disk
1:M 05 Jul 2022 15:50:59.285 * Background saving started by pid 3677
3677:C 05 Jul 2022 15:50:59.408 * DB saved on disk
3677:C 05 Jul 2022 15:50:59.409 * RDB: 0 MB of memory used by copy-on-write
1:M 05 Jul 2022 15:50:59.468 * Background saving terminated with success
1:M 05 Jul 2022 15:50:59.468 * Synchronization with replica 172.21.0.225:6379 succeeded
172.21.0.7:6379: e46663ae4a145083e48a499071d26062a7ed7b4d 172.21.0.225:6379@16379 slave bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 0 1657007691000 33 connected
b1d2ac39655e91ef5f2c993062cd580ce5b213fd 172.21.0.164:6379@16379 slave f7aef53b45415f54aefca34a3d1f66fe875f175f 0 1657007692000 31 connected
bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 172.21.0.7:6379@16379 myself,master - 0 1657007690000 33 connected 5461-10922
f7aef53b45415f54aefca34a3d1f66fe875f175f 172.21.0.114:6379@16379 master - 0 1657007689000 31 connected 10923-16383
c43bf83866789ce61af36781054c5a68ddb0da39 172.21.0.255:6379@16379 slave 725e267685d4ad18fe92d686c917294f4e972295 0 1657007692000 29 connected
725e267685d4ad18fe92d686c917294f4e972295 172.21.0.90:6379@16379 master - 0 1657007692981 29 connected 0-5460

172.21.0.225:6379: c43bf83866789ce61af36781054c5a68ddb0da39 172.21.0.255:6379@16379 slave 725e267685d4ad18fe92d686c917294f4e972295 0 1657007690633 29 connected
e46663ae4a145083e48a499071d26062a7ed7b4d 172.21.0.225:6379@16379 myself,slave bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 0 1657007689000 30 connected
f7aef53b45415f54aefca34a3d1f66fe875f175f 172.21.0.114:6379@16379 master - 0 1657007689000 31 connected 10923-16383
725e267685d4ad18fe92d686c917294f4e972295 172.21.0.90:6379@16379 master - 0 1657007692639 29 connected 0-5460
bcfe13a0763cc503ce1f7bd89cdc74174b13acc3 172.21.0.7:6379@16379 master - 0 1657007691636 33 connected 5461-10922
b1d2ac39655e91ef5f2c993062cd580ce5b213fd 172.21.0.164:6379@16379 slave f7aef53b45415f54aefca34a3d1f66fe875f175f 0 1657007691000 31 connected

可以看到，之前的172.21.0.7变成了master，之前的172.21.0.86在pod重建完成之后，ip变为172.21.0.225，并成为172.21.0.7的replica

使用命令kubectl drain 172.29.64.53 --ignore-daemonsets --delete-local-data驱逐node上的pod，结论也同上。

遇到的问题

在operator启用的条件下，经过反复测试，遇到一个问题，复现问题的步骤为：

在k8s nodeA(ip:172.29.64.102)上执行systemctl stop kubelet，停掉kubelet之后，再执行kubectl delete node 172.29.64.102；
删除nodeA之后，nodeA上的所有pod会飘到其他node上，等所有pod重建完成；
将nodeA的kubelet启动：systemctl start kubelet，nodeA会重新加入到k8s集群(当前node上的redis pod容器会自动销毁)；
在另一台nodeB(ip:172.29.64.53)上执行步骤1的操作；
将nodeB删除之后，nodeB上的pod会根据分配策略，大部分分配到空的nodeA上，此时会出现集群拓扑异常的情况

记录下nodeA上的pod：

删除nodeA：

nodeA上的pod被分配到其他node上：

大概等了五六分钟，所有pod重建完成，所有集群状态也正常，此时将nodeA重新加入k8s集群：systemctl start kubelet

接下来删除nodeB：

nodeB上的pod开始重建，可以看到基本都重建到了空的nodeA上了：

pod重建完成：

异常集群：

异常集群1：

异常集群2：

经过观察发现，异常的这两个集群，公享了6个节点，也就是有6个节点，既在集群1的拓扑里，也在集群2的拓扑里，找到其中一个观察：

172.21.0.213这个ip对应的pod，并不应该加到集群nsh38d的拓扑里，出现这种情况之后，使用命令kubectl delete pod -n redis --all删除全部redis节点也无法恢复。

还有一种情况是集群的节点数小于6，下图结果为其他次测试出现的：

解决方法

每次删除node之前，先把该node上的docker停止，保证node上的容器都停掉。

operator停止

先将operator进行缩容：

[root@172 ~]# kubectl scale -n redis deployment/redis-cluster-operator --replicas=0
deployment.apps/redis-cluster-operator scaled
[root@172 ~]# kubectl -n redis get deployment  
NAME                     READY   UP-TO-DATE   AVAILABLE   AGE
redis-cluster-operator   0/0     0            0           20d
[root@172 ~]#
[root@172 ~]#

删除其中一个node

pod开始飘走

所有pod正常重建，无异常告警产生，所有redis集群状态正常。

下面测试一下是否会出现上节中的问题。

将之前的node重新加入k8s集群

[root@172 ~]# systemctl start kubelet
[root@172 ~]# 
[root@172 ~]# 
[root@172 ~]# kubectl get no
NAME            STATUS   ROLES    AGE     VERSION
172.29.64.102   Ready    <none>   12s     v1.18.14
172.29.64.103   Ready    <none>   2d16h   v1.18.14
172.29.64.53    Ready    <none>   43h     v1.18.14
172.29.64.54    Ready    <none>   6d16h   v1.18.14
172.29.64.61    Ready    <none>   2d20h   v1.18.14
172.29.64.62    Ready    <none>   45h     v1.18.14
[root@172 ~]#

删除另一个node：

[root@172 ~]# systemctl stop kubelet
[root@172 ~]# 
[root@172 ~]# kubectl get no
NAME            STATUS     ROLES    AGE     VERSION
172.29.64.102   Ready         107m    v1.18.14
172.29.64.103   NotReady      2d18h   v1.18.14
172.29.64.53    Ready         45h     v1.18.14
172.29.64.54    Ready         6d17h   v1.18.14
172.29.64.61    Ready         2d22h   v1.18.14
172.29.64.62    Ready         46h     v1.18.14
[root@172 ~]# 
[root@172 ~]# 
[root@172 ~]# kubectl delete node 172.29.64.103
node "172.29.64.103" deleted
[root@172 ~]# 
[root@172 ~]# 
[root@172 ~]# 
[root@172 ~]# kubectl get no
NAME            STATUS   ROLES    AGE     VERSION
172.29.64.102   Ready       108m    v1.18.14
172.29.64.53    Ready       45h     v1.18.14
172.29.64.54    Ready       6d17h   v1.18.14
172.29.64.61    Ready       2d22h   v1.18.14
172.29.64.62    Ready       47h     v1.18.14
[root@172 ~]# 
[root@172 ~]#

pod开始飘走：

待所有pod重建完成之后，并没有出现拓扑异常的redis集群。

结论

整个测试过程中，可以发现ucloud/redis-cluster-operator对于常见的故障，有较好的支持，对于一些较为暴力的测试，也能保证redis集群的正常，对于一些极端情况，导致出现redis集群拓扑异常的情况，可以通过严谨的运维步骤来规避，总体来说，如果需要选择一款redis集群的operator，ucloud/redis-cluster-operator可以作为一个很好的选择，当然，这个项目目前处于非活跃状态，涉及到需求变更或者问题只能自己来完成。

你可能感兴趣的:(Kubernetes,kubernetes,redis,docker,operator)

Redis 与 SQLite 的完美结合：深入探究 Redka 项目 youyouiknow tech-review redis sqlite 后端架构数据库缓存
随着数据存储和访问需求的不断增长，不同类型的数据库在各自的领域中发挥着重要的作用。Redis以其高性能的内存数据库特性，广泛应用于需要快速响应的场景；SQLite则以其轻量级的嵌入式关系数据库，被广泛应用于移动设备和小型应用中。那么，如果将两者的优点结合起来，会产生怎样的火花呢？Redka就是这样一个旨在利用SQLite重新实现Redis优秀部分的项目，同时保持与RedisAPI的兼容性。一、Re
重新架构：从 Redis 到 SQLite 性能提升极道Jdon javascript reactjs
在这篇博文中，他们用SQLite取代了Redis，而令人惊讶的是，SQLite的速度更快！有趣的是，Redis是在本地运行，而SQLite是将数据存储在磁盘上。因此，这是内存（Redis）与磁盘（SQLite）的较量，但Redis需要通过IPC进行通信。人们一直以为磁盘I/O比IPC慢，但显然这并不总是正确的！实际上，IPC也可能更慢！Redis自己也承认这点Wafris重新架构了它的系统，从Re
k8s ingress 原理 MosesZane K8S kubernetes 容器云原生
Kubernetes（k8s）中的Ingress是一种API对象，用于管理对集群内部服务的HTTP和HTTPS路由。Ingress提供了一种更灵活的方式来暴露服务，相比于NodePort和LoadBalancer类型的Service，Ingress可以提供更复杂的流量路由规则和SSL/TLS终止等功能。以下是Ingress的工作原理和一些关键概念：1.Ingress的基本概念Ingress本身只是
SpringBoot在Kubernetes上部署及其扩展实践 AI天才研究院 Python实战自然语言处理人工智能语言模型编程实践开发语言架构设计
作者：禅与计算机程序设计艺术1.简介SpringBoot是微服务开发的一个重要工具。它可以快速、轻松地创建一个独立运行的应用，同时还有一个特性就是它可以让开发者更关注业务逻辑而不是配置。SpringCloud生态圈则提供了许多服务发现、熔断器等功能组件，可以帮助我们实现微服务之间的通信、监控、路由等功能。但是，如果想要把SpringBoot部署到Kubernetes集群上，那么就需要做一些额外的工
CKA 不假题练习笔记（四）超级阿飞 k8s cluster 笔记
Q13：SidecarContainerContext-AnexistingPodneedstobeintegratedintotheKubernetesbuilt-inloggingarchitecture(e.g.kubectllogs).Addingastreamingsidecarcontainerisagoodandcommonwaytoaccomplishthisrequirement
springboot + xterm.js + vue + websocket实现终端功能（y-shell）文件管理器实现张音乐 JS Vue React 前端踩坑实战教程树形菜单右键菜单 VUE
一、文件管理器功能描述这一章节讲一下文件管理器的实现与设计细节。首先，文件管理器需要提供以下几个主要的功能，开发过程中使用vue渲染前端页面以及交互过程中还是遇到了不少问题，比如说右键菜单，表单校验。1、文件夹的新增，编辑，删除。2、ssh配置的新增，编辑，删除。3、右键菜单如图：文件夹管理ssh连接管理快速运行dockerrun-itd--namey-shell-
Docker 部署 Nginx 并在容器内配置申请免费 SSL 证书逢生博客 docker nginx ssl
文章目录dockerdocker-compose.yml申请免费SSL证书配置Nginx验证域名所有权安装acme.sh生成SSL证书查看已安装证书dockerhttps://hub.docker.com/_/nginxdockerpullnginx:1.27注：国内网络原因无法下载镜像，nginx镜像文件下载链接https://pan.baidu.com/s/1O35cPbx6AHWUJL1v5
【Docker】搭建 Docker 私有化仓库 cangloe docker docker 容器运维
搭建Docker私有化仓库是一个非常重要的实践，它能够帮助你安全地存储和管理Docker镜像，而无需将其发布到公共DockerHub。通过使用私有化仓库，你可以：提高安全性：镜像存储在受控的环境中。提升效率：在公司网络内传输镜像，速度更快。实现自动化：配合CI/CD系统实现自动镜像管理。本文将详细介绍如何在不同环境下搭建Docker私有化仓库，并提供配置和优化建议。一、Docker私有化仓库的基本
在Docker上部署自动更新ssl证书的nginx + .NET Core libby0926
突发奇想要搞一个ssl的服务器，然后我就打起了docker的主意，想着能不能搞一个基于Docker的服务器，这样维护起来也方便一点。设想#想法是满足这么几点：.NETCoreonDockerLet’sEncyptonDockernginxonDocker用于反向代理Let’sEncypt证书有效期很短，需要能够自动更新nginx与dotnet都提供了docker部署的方案，但是Let’sEncyp
使用Docker和Nginx轻松配置Let's Encrypt免费SSL证书侯深业Dorian
使用Docker和Nginx轻松配置Let'sEncrypt免费SSL证书去发现同类优质开源项目:https://gitcode.com/在数字化的今天，网站的安全性已成为每个在线业务的基础。Let'sEncrypt提供了免费的SSL证书，使得网站能够启用HTTPS，确保数据传输的安全。这篇项目文章将引导你通过Docker和Nginx，轻松实现Let'sEncryptSSL证书的自动配置。1、项目
【云原生】Docker 部署 Nacos使用详解逆风飞翔的小叔运维 docker搭建nacos详解 docker部署nacos docker安装nacos 腾讯云搭建nacos centos7搭建nacos
目录一、前言二、使用Docker部署Nacos2.1环境准备2.2搭建Nacos操作过程2.2.1拉取Nacos镜像2.2.2创建配置数据库2.2.3启动容器2.2.4删除nacos容器2.2.5再次启动容器2.2.6访问nacos三、基于Centos7搭建Nacos3.1搭建过程3.1.1服务器环境3.1.2mysql环境3.1.3提前下载安装包3.1.4初始化sql脚本3.1.5修改配置文件3
【Docker】【Nacos】单机部署又言又语 Docker docker nacos 单机模式
【Docker】【Nacos】单机部署背景介绍环境步骤总结背景因国内访问DockerHub极不稳定，因此总结整理出本文，以便后续需要时方便查看。介绍本文介绍Docker安装Nacos并实现单机模式部署的方法及步骤。环境分类名称版本操作系统WindowsWindows11DockerDockerEngine25.0.3DockerDockerClient25.0.3DockerDockerDeskt
【Docker】私有Docker仓库的搭建 RumIV 工具 docker eureka spring cloud
一、准备工作确保您的系统已安装Docker。如果没有安装，请参考Docker官方文档进行安装。准备一个用于存储仓库数据的目录，例如/registry_data/。二、拉取官方registry镜像首先，我们需要从DockerHub拉取官方的registry镜像。执行以下命令：dockerpullregistry三、启动私有Docker仓库接下来，我们使用以下命令启动私有仓库：dockerrun-d-
能说说MyBatis的工作原理吗？ java1234_小锋 java java 开发语言
大家好，我是锋哥。今天分享关于【Redis为什么这么快?】面试题。希望对大家有帮助；能说说MyBatis的工作原理吗？MyBatis是一款流行的持久层框架，它通过简化数据库操作，帮助开发者更高效地与数据库进行交互。MyBatis允许开发者使用XML或注解来配置SQL语句并映射数据库中的记录到Java对象。它的工作原理可以从以下几个方面来解释：1.MyBatis核心组件MyBatis的工作原理基于几
Helm Chart 实战指南 ivwdcwso 运维 Heml k8s kubernetes 云原生包管理容器
Helm是Kubernetes的包管理工具，而HelmChart是Helm的核心概念，用于定义、安装和升级Kubernetes应用。本文将带你从零开始，通过实战演练，掌握HelmChart的创建、配置和部署，帮助你高效管理Kubernetes应用。1.环境准备在开始之前，确保你已经具备以下环境：Kubernetes集群：可以是本地集群（如Minikube）或云服务（如GKE、EKS）。Helm：安
-failover-abort-not-elected master mymaster问题难搞哦！！ redis redis集群
redis配置sentinel，mastershutdown后主从切换失败，提示错误-failover-abort-not-electedmastermymasterx.x.x.x6379原因是sentinel.conf缺少配置，若redis.conf中添加protected-modeyesbind0.0.0.0则sentinel.conf中添加该属性。
volcengine 库装不上 #25 LiuPig刘皮哥 python
https://github.com/volcengine/volc-sdk-python/issues/25在Dockerpython3.10-slim中volcengine安装时报错,其依赖pycryptodome显示gcc相关错误调研发现pycryptodome3.19.0不会报错,volcengine依赖的pycryptodome3.9.9会报错修改方案是手动为volcengine安装依赖
docker启动命令,docker重启命令,docker关闭命令 web15085181368 java java 后端
一.docker服务的命令启动：systemctlstartdocker守护进程重启：systemctldaemon-reload重启docker服务：systemctlrestartdocker/servicedockerrestart关闭：dockerservicedockerstop/dockersystemctlstopdocker二.关于docker容器的命令启动：dockerstart
【Elasticsearch 】自定义分词器程风破～ Elasticsearch elasticsearch 大数据搜索引擎
博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c=1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编程，高并发设计，Springboot和微服务，熟悉Linux，ESXI虚拟化以及云原生Docker和K8s，热衷于探索科技的边界，并将理论知识转化为实际应用。保持对新技术的好奇心，乐于分
用Devecostudio写一个简单的计算器邮专小谦 typescript harmonyos 数据库前端华为
用Devecostudio写一个简单的计算器//计算器import{Button1}from'./Button1'import{Button2}from'./Button2'//定义两个按钮格式//import{Cal}from'./cal'也可以将四则运算的函数定义到别处然后引入，这里为了方便直接放到这里了interfaceOperator{ symbol:string; precedence:
VSCode 创建Python 项目(最简单，最少步骤，无痛从pycharm迁移项目) 以史为镜 vscode ide 编辑器
第一步：下载下载地址：https://code.visualstudio.com/docs/?dv=win64user第二步：配置2.1：VsCode设置中文按住键盘上的“Ctrl+Shift+P”组合键，打开命令面板。在命令面板中输入“ConfigureDisplayLanguage”。点击“ConfigureDisplayLanguage”选项。在弹出的语言选择列表中，选择“zh-cn”，代表
bkcrack安装 x0da6h 网络安全
bkcrack是一款破解密码算法工具在ctf中主要用于破解压缩包密码本文主要介绍它的下载、安装方法先从github获取资源，windows中安装bkcrack还需要额外安装VC++的Redistributablegitclonehttps://github.com/kimci86/bkcrack.git然后配置cmake工具，需要用到cmake手动构建brack的项目代码pipinstallcma
02.DockerCompose部署Nginx Felix_XY DockerCompose Nginx nginx docker docker compose
目录参考链接获取镜像单机部署(bridge模式)单机部署(host模式)单机部署使用templates配置nginx.conf官方镜像支持的环境变量准备template文件创建docker-compose.yml验证转载请注明出处参考链接https://hubgw.docker.com/_/nginxhttps://devopsian.net/p/nginx-config-template-wit
kotlin 深入学习爱水的云开发分享 java servlet android
一、进阶用法解构解构:解构指的是将对象的多个属性分别赋值给多个变量的过程funmain(args:Array){valuser=User(12,"name")val(age,name)=userprintln(age)println(name)}classUser(varage:Int,varname:String){operatorfuncomponent1()=ageoperatorfunco
Python极简计算器程序代码 EYYLTV python 开发语言
n=float(input("Enteranumber输入一个数字:"))m=float(input("Enteranumber输入一个数字:"))z=input("Enteranoperator输入一个运算符(+,-,*,/):")ifz==‘+’:a=n+mprint(a)elifz==‘-’:b=n-mprint(b)elifz==‘*’:c=n*mprint©elifz==‘/’:ifm=
一个真正可用的docker-compse部署单机版kafka 版本2.x garen_dimon 软件研究 docker kafka 容器
注意：kafka3.x版本，Kafka3.x需要Java11或更高版本。确保系统已安装合适的Java版本。Kafka3.x推荐使用ZooKeeper3.5.x或更高版本。确保ZooKeeper集群与Kafka版本兼容。如果你计划使用KRaft模式替换传统的ZooKeeper模式，请确保你已经了解新模式的要求和配置。在网上搜索单机docker-compose部署kafka，出现最多的内容如下：ver
Docker-Compose以KRaft模式快速部署Kafka LUCIAZZZ docker kafka 容器 java 运维 spring boot
我们创建一个docker-compose.yaml文件然后后台启动我们的DockerComposedocker-composeup-d我们修改配置后可以关闭后重启docker-composedowndocker-compose.yaml文件内容version:"3"services:kafka:image:'bitnami/kafka:latest'user:rootenvironment:-KA
Kafka（一）使用Docker Compose安装单机Kafka以及Kafka UI_docker 部署单机kafka 2401_84166396 2024年程序员学习 kafka docker ui
开启JMX监控JMX_PORT=9998KAFKA_JMX_OPTS=-Dcom.sun.management.jmxremote-Dcom.sun.management.jmxremote.authenticate=false-Dcom.sun.management.jmxremote.ssl=false-Djava.rmi.server.hostname=kafka-Dcom.sun.mana
MongoDB 大俗大雅，上来问分片真三俗 -- 4 分什么分 Austindatabases mongodb 数据库
开头还是介绍一下群，如果感兴趣PolarDB,MongoDB,MySQL,PostgreSQL,Redis,OceanBase,SqlServer等有问题，有需求都可以加群群内有各大数据库行业大咖，可以解决你的问题。加群请联系liuaustin3，（共2710人左右1+2+3+4+5+6+7+8+9）(123456群均已爆满，7群400+，开8群9群)这是MongoDB宣传周的第五篇，这周真漫长，
Python 包管理之 poetry 奔跑的大西吉 Python
poetry是一个Python虚拟环境和依赖管理的工具。poetry和pipenv类似，另外还提供了打包和发布的功能。官方文档：python-poetry.org/docs/python项目部署：poetry管理本地环境,上线用dockerpoetry安装poetry提供多种安装方式，个人推荐从以下2种方式中选择：方式一：（推荐）$curl-sSLhttps://raw.githubusercon
eclipse maven IXHONG eclipse
eclipse中使用maven插件的时候，运行run as maven build的时候报错 -Dmaven.multiModuleProjectDirectory system propery is not set. Check $M2_HOME environment variable and mvn script match. 可以设一个环境变量M2_HOME指
timer cancel方法的一个小实例 alleni123 多线程 timer
package com.lj.timer; import java.util.Date; import java.util.Timer; import java.util.TimerTask; public class MyTimer extends TimerTask { private int a; private Timer timer; pub
MySQL数据库在Linux下的安装 ducklsl mysql
1.建好一个专门放置MySQL的目录 /mysql/db数据库目录 /mysql/data数据库数据文件目录 2.配置用户，添加专门的MySQL管理用户 >groupadd mysql ----添加用户组 >useradd -g mysql mysql ----在mysql用户组中添加一个mysql用户 3.配置，生成并安装MySQL >cmake -D
spring------>>cvc-elt.1: Cannot find the declaration of element Array_06 spring bean
将-------- <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3
maven发布第三方jar的一些问题 cugfy maven
maven中发布第三方jar到nexus仓库使用的是 deploy:deploy-file命令有许多参数，具体可查看 http://maven.apache.org/plugins/maven-deploy-plugin/deploy-file-mojo.html 以下是一个例子： mvn deploy:deploy-file -DgroupId=xpp3
MYSQL下载及安装 357029540 mysql
好久没有去安装过MYSQL，今天自己在安装完MYSQL过后用navicat for mysql去厕测试链接的时候出现了10061的问题，因为的的MYSQL是最新版本为5.6.24，所以下载的文件夹里没有my.ini文件，所以在网上找了很多方法还是没有找到怎么解决问题，最后看到了一篇百度经验里有这个的介绍，按照其步骤也完成了安装，在这里给大家分享下这个链接的地址
ios TableView cell的布局张亚雄 tableview
cell.imageView.image = [UIImage imageNamed:[imageArray objectAtIndex:[indexPath row]]]; CGSize itemSize = CGSizeMake(60, 50); &nbs
Java编码转义 adminjun java 编码转义
import java.io.UnsupportedEncodingException; /** * 转换字符串的编码 */ public class ChangeCharset { /** 7位ASCII字符，也叫作ISO646-US、Unicode字符集的基本拉丁块 */ public static final Strin
Tomcat 配置和spring aijuans spring
简介 Tomcat启动时，先找系统变量CATALINA_BASE，如果没有，则找CATALINA_HOME。然后找这个变量所指的目录下的conf文件夹，从中读取配置文件。最重要的配置文件：server.xml 。要配置tomcat，基本上了解server.xml，context.xml和web.xml。 Server.xml -- tomcat主
Java打印当前目录下的所有子目录和文件 ayaoxinchao 递归 File
其实这个没啥技术含量，大湿们不要操笑哦，只是做一个简单的记录，简单用了一下递归算法。 import java.io.File; /** * @author Perlin * @date 2014-6-30 */ public class PrintDirectory { public static void printDirectory(File f
linux安装mysql出现libs报冲突解决 BigBird2012 linux
linux安装mysql出现libs报冲突解决安装mysql出现 file /usr/share/mysql/ukrainian/errmsg.sys from install of MySQL-server-5.5.33-1.linux2.6.i386 conflicts with file from package mysql-libs-5.1.61-4.el6.i686
jedis连接池使用实例 bijian1013 redis jedis连接池 jedis
实例代码： package com.bijian.study; import java.util.ArrayList; import java.util.List; import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; import redis.clients.jedis.JedisPoo
关于朋友 bingyingao 朋友兴趣爱好维持
成为朋友的必要条件：志相同，道不合，可以成为朋友。譬如马云、周星驰一个是商人，一个是影星，可谓道不同，但都很有梦想，都要在各自领域里做到最好，当他们遇到一起，互相欣赏，可以畅谈两个小时。志不同，道相合，也可以成为朋友。譬如有时候看到两个一个成绩很好每次考试争做第一，一个成绩很差的同学是好朋友。他们志向不相同，但他
【Spark七十九】Spark RDD API一 bit1129 spark
aggregate package spark.examples.rddapi import org.apache.spark.{SparkConf, SparkContext} //测试RDD的aggregate方法 object AggregateTest { def main(args: Array[String]) { val conf = new Spar
ktap 0.1 released bookjovi kernel tracing
Dear, I'm pleased to announce that ktap release v0.1, this is the first official release of ktap project, it is expected that this release is not fully functional or very stable and we welcome bu
能保存Properties文件注释的Properties工具类 BrokenDreams properties
今天遇到一个小需求：由于java.util.Properties读取属性文件时会忽略注释，当写回去的时候，注释都没了。恰好一个项目中的配置文件会在部署后被某个Java程序修改一下，但修改了之后注释全没了，可能会给以后的参数调整带来困难。所以要解决这个问题。 &nb
读《研磨设计模式》-代码笔记-外观模式-Facade bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ /* * 百度百科的定义： * Facade（外观）模式为子系统中的各类（或结构与方法）提供一个简明一致的界面， * 隐藏子系统的复杂性，使子系统更加容易使用。他是为子系统中的一组接口所提供的一个一致的界面 * * 可简单地
After Effects教程收集 cherishLC After Effects
1、中文入门 http://study.163.com/course/courseMain.htm?courseId=730009 2、videocopilot英文入门教程（中文字幕） http://www.youku.com/playlist_show/id_17893193.html 英文原址： http://www.videocopilot.net/basic/ 素
Linux Apache 安装过程 crabdave apache
Linux Apache 安装过程下载新版本： apr-1.4.2.tar.gz（下载网站：http://apr.apache.org/download.cgi） apr-util-1.3.9.tar.gz（下载网站：http://apr.apache.org/download.cgi） httpd-2.2.15.tar.gz（下载网站：http://httpd.apac
Shell学习之变量赋值和引用 daizj shell 变量引用赋值
本文转自：http://www.cnblogs.com/papam/articles/1548679.html Shell编程中，使用变量无需事先声明，同时变量名的命名须遵循如下规则：首个字符必须为字母（a-z，A-Z）中间不能有空格，可以使用下划线（_）不能使用标点符号不能使用bash里的关键字（可用help命令查看保留关键字）需要给变量赋值时，可以这么写：
Java SE 第一讲（Java SE入门、JDK的下载与安装、第一个Java程序、Java程序的编译与执行） dcj3sjt126com java jdk
Java SE 第一讲： Java SE：Java Standard Edition Java ME: Java Mobile Edition Java EE：Java Enterprise Edition Java是由Sun公司推出的（今年初被Oracle公司收购）。收购价格：74亿美金 J2SE、J2ME、J2EE JDK：Java Development
YII给用户登录加上验证码 dcj3sjt126com yii
1、在SiteController中添加如下代码： /** * Declares class-based actions. */ public function actions() { return array( // captcha action renders the CAPTCHA image displ
Lucene使用说明 dyy_gusi Lucene search 分词器
Lucene使用说明 1、lucene简介 1.1、什么是lucene Lucene是一个全文搜索框架，而不是应用产品。因此它并不像baidu或者googleDesktop那种拿来就能用，它只是提供了一种工具让你能实现这些产品和功能。 1.2、lucene能做什么要回答这个问题，先要了解lucene的本质。实际
学习编程并不难,做到以下几点即可! gcq511120594 数据结构编程算法
不论你是想自己设计游戏，还是开发iPhone或安卓手机上的应用，还是仅仅为了娱乐，学习编程语言都是一条必经之路。编程语言种类繁多，用途各异，然而一旦掌握其中之一，其他的也就迎刃而解。作为初学者，你可能要先从Java或HTML开始学，一旦掌握了一门编程语言，你就发挥无穷的想象，开发各种神奇的软件啦。 1、确定目标学习编程语言既充满乐趣，又充满挑战。有些花费多年时间学习一门编程语言的大学生到
Java面试十问之三：Java与C++内存回收机制的差别 HNUlanwei java C++finalize()堆栈内存回收
大家知道， Java 除了那 8 种基本类型以外，其他都是对象类型（又称为引用类型）的数据。 JVM 会把程序创建的对象存放在堆空间中，那什么又是堆空间呢？其实，堆（ Heap）是一个运行时的数据存储区，从它可以分配大小各异的空间。一般，运行时的数据存储区有堆（ Heap）和堆栈（ Stack），所以要先看它们里面可以分配哪些类型的对象实体，然后才知道如何均衡使用这两种存储区。一般来说，栈中存放的
第二章 Nginx+Lua开发入门 jinnianshilongnian nginx lua
Nginx入门本文目的是学习Nginx+Lua开发，对于Nginx基本知识可以参考如下文章： nginx启动、关闭、重启 http://www.cnblogs.com/derekchen/archive/2011/02/17/1957209.html agentzh 的 Nginx 教程 http://openresty.org/download/agentzh-nginx-tutor
MongoDB windows安装基本命令 liyonghui160com
windows安装安装目录： D:\MongoDB\ 新建目录 D:\MongoDB\data\db 4.启动进城： cd D:\MongoDB\bin mongod -dbpath D:\MongoDB\data\db &n
Linux下通过源码编译安装程序 pda158 linux
一、程序的组成部分　　Linux下程序大都是由以下几部分组成：　　二进制文件：也就是可以运行的程序文件　　库文件：就是通常我们见到的lib目录下的文件　　配置文件：这个不必多说，都知道　　帮助文档：通常是我们在linux下用man命令查看的命令的文档　　二、linux下程序的存放目录　　linux程序的存放目录大致有三个地方：　　/etc, /b
WEB开发编程的职业生涯４个阶段 shw3588 编程 Web 工作生活
觉得自己什么都会 2007年从学校毕业，凭借自己原创的ASP毕业设计，以为自己很厉害似的，信心满满去东莞找工作，找面试成功率确实很高，只是工资不高，但依旧无法磨灭那过分的自信，那时候什么考勤系统、什么OA系统、什么ERP，什么都觉得有信心，这样的生涯大概持续了约一年。根本不是自己想的那样 2008年开始接触很多工作相关的东西，发现太多东西自己根本不会，都需要去学，不管是asp还是js，
遭遇jsonp同域下变作post请求的坑 vb2005xu jsonp 同域post
今天迁移一个站点时遇到一个坑爹问题,同一个jsonp接口在跨域时都能调用成功,但是在同域下调用虽然成功,但是数据却有问题. 此处贴出我的后端代码片段 $mi_id = htmlspecialchars(trim($_GET['mi_id '])); $mi_cv = htmlspecialchars(trim($_GET['mi_cv '])); 贴出我前端代码片段: $.aj