不支持LoadBalancer的k8s集群如何做TCP四层负载均衡

我们有一个给设备做TCP直连的netty服务,这个服务要支持大量设备的直接连接,并且支持双向通信(服务端要能够向指定的设备发送消息,设备也要能向服务端发消息)

这样的服务多实例部署的时候,就需要做TCP负载均衡。


示意图

要实现的目标是:

1、TCP负载均衡,客户端向一个ip和端口发起连接,均衡负载到不同的netty服务上。

2、Netty服务动态伸缩的时候,负载均衡要能够感知

3、其他服务要能调用Netty服务向指定的设备发送消息,这就需要设备连接成功后,Netty服务要记录该设备所在服务的ip地址。其他服务请求时将请求路由到指定设备连接的Netty服务上。


服务部署到k8s集群上。然鹅在腾讯云服务器上构建出来的k8s集群不支持LoadBalancer(如果可以,还请各位指点)。

虽然腾讯云有支持tcp负载均衡的产品,不过那个只是在服务器之间的四层负载均衡,如果要部署到k8s里面,需要pod之间的负载均衡。

最新发现这个项目《https://github.com/danderson/metallb》可以实现自建集群支持四层负载均衡

方案一:

Netty服务通过HostPort暴露端口,通过Nginx做upstream(或者通过腾讯云的负载均衡),配置多个k8s主机节点的ip和端口做TCP负载均衡。

upstream nettymq1{

    server 192.168.3.62:28866 weight=1;

    server 192.168.3.63:28866 weight=1;

    server 192.168.3.64:28866 weight=1;

    server 192.168.3.65:28866 weight=1;

}

server{

    listen 28866;

    proxy_pass nettymq1;

}

缺陷:HostPort方式暴露端口,会占用主机端口,一台主机就只能部署一个服务,同一台主机上调度两个就会出现端口冲突。

并且netty服务不支持扩展到多于集群主机的个数。

方案二:

通过k8s的statefulset方式部署,可以给pod产生规则的域名。这样在Nginx upstream中配置主机节点的ip就变成了配置pod的规则域名的方式。

upstream nettymq1{

    server nettymq-0:28866 weight=1;

    server nettymq-1:28866 weight=1;

    server nettymq-2:28866 weight=1;

    server nettymq-3:28866 weight=1;

}

这样可以解决方案一中,占用主机端口,一台主机只能部署一个的问题。

缺陷:由于upstream中配置的是域名,如果是开源版的nginx没法动态解析域名,域名指向的ip改变之后,nginx无法解析到新ip上。需要nginx-plus版的resolve指令动态更新域名。

并且还是无法动态想扩展多少个就扩展多少个,受限于upstream中配置server个数。

友情提示:openresty 的 ngx_http_dyups_module 模块只支持http下的upstream更新,不支持stream下的upstream更新。o(╥﹏╥)o


方案三:

这个方案要用到一个开源项目:

 kubernetes-ingerss:GitHub - nginxinc/kubernetes-ingress: NGINX and NGINX Plus Ingress Controllers for Kubernetes

这个 kubernetes-ingerss 跟 Kubernetes 自带的 NGINX Ingress Controller不是同一个东西。

它的 example/tcp-udp 下就有关于tcp负载均衡的介绍,可以通过configMap动态注册服务下的pod的ip到nginx的upstream上。看起来可以完美解决动态扩容缩容的问题。

第一步:先要安装 kubernetes-ingerss

1、将源码中deployments目录复制到可以执行kubectl命令的主机上,进入该目录

2、根据 https://github.com/nginxinc/kubernetes-ingress/blob/master/docs/installation.md 的步骤执行命令即可

Create a Namespace, a SA, the Default Secret and the Customization Config Map

kubectl apply -f common/ns-and-sa.yaml

kubectl apply -f common/default-server-secret.yaml

kubectl apply -f common/nginx-config.yaml

Configure RBAC

kubectl apply -f rbac/rbac.yaml

然后创建负载均衡服务,以下两种方式选择一种即可,两种方式各有优势,自行选择即可

Service with the Type LoadBalancer

1.Create a Deployment:只部署一个服务,然后转发到不同的netty服务

kubectl apply -f deployment/nginx-ingress.yaml

2.Create a DaemonSet:每个主机一个服务

kubectl apply -f daemon-set/nginx-ingress.yaml

以上两种方式任选其一即可,不要同时安装两个


Service with the Type NodePort  选择NodePort方式配置负载均衡(这里要根据自己的服务配置需要暴露哪些端口)

kubectl create -f service/nodeport.yaml


上面是两种负载均衡同时安装的效果,大家只要安装其中一种即可,两个同时存在会出问题

3、配置Netty服务的负载均衡

kubectl apply nginx-netty-config.yaml

nginx-netty-config.yaml 文件如下

kind: ConfigMap

apiVersion: v1

metadata:

    name: nginx-config

    namespace: nginx-ingress

data:

    stream-snippets: |

        upstream netty-mq-tcp {

            server netty-mq:28866;         # netty-mq为k8s中部署的netty服务名称

        }

        server {

            listen 30001;

            proxy_pass  netty-mq-tcp;

        }

4、验证 

将netty-mq服务修改为多个pod部署,

然后让多个设备连接 nginx-ingress 暴露的30001端口,即可发现多个设备的连接负载均衡到不同的pod上了。

你可能感兴趣的:(不支持LoadBalancer的k8s集群如何做TCP四层负载均衡)