kubernetes源码改造 - Host网络模式下实现动态Port调度

前言：Host网络模式在Kubernetes中使用比较少，但是对于一些特殊场景下，还是有它的用武之地。我们公司的历史包袱比较重，有大量的应用部署在物理机，即使部署了Kubernetes集群，也不可能将所有的应用都迁移到k8s上面，而且现在的物理机遍布全国各地多个机房，而K8S对于超大集群以及多IDC的支撑也不是很理想，所以物理机与容器应用的共存是不可避免的。而且我们大量的应用之间的通讯都是基于一套旧的服务发现系统，服务发现系统就是通过暴漏每个服务的物理机IP和Port给其他服务。

Host网络模式

从前言中，我们可以看出在上述前提的限制下，要实现容器化与物理机共存的模式的最简单方案就是采用Host网络。否则，容器能够与外部物理机应用通讯，但是反之则不行。

Host网络是Docker的一种网络模式，这种模式下的容器共享了宿主机的网络栈，即容器的网络配置与Host宿主机完全一样。
K8S也支持这种网络模式，但是一般而言K8S不建议使用它，基于Host模式调度的容器他的PodIp与NodeIp相同，如果容器内应用需要侦听一个端口（TCP或UDP），那他实际也是使用的整个宿主机的资源，所以如果在一台宿主机上调度多个容器的话，他们的使用的端口号不能冲突，这个功能可以通过K8S调度器中的PodFitsHostPorts调度算法来进行调度。保证已经占用了相同端口的宿主机不会再次调度相同端口的容器，但是注意，K8S是不会实际去检查宿主机上已经占用的端口号的，所有的端口信息都记录在Scheduler中。

改造K8S适配我们的应用场景

下面我们所有的内容都是在Host网络模式下谈的。

在应用中，我们有些应用需要固定一个端口号，譬如：8080，这时候，我们可以通过containerPort:8080参数来进行调度，但是我们有大多数的应用是不需要固定端口的，由于有服务发现应用的存在，服务发现可以把应用侦听的端口暴漏给所有其他的服务，所以我们可以考虑实现动态分配端口的功能。

改造步骤：

• 改造Scheduler从一个固定的端口范围（譬如：20000-32767）分配给需要动态端口的应用；
• 设置linux的tcp默认非配端口范围为：32768-65535，这样使得系统的连接端口与侦听端口不冲突
  echo '32768 65535' > /proc/sys/net/ipv4/ip_local_port_range
• 改造Scheduler，分配完成后把分配的端口号绑定要特定的Annotation中
  Annotations["DYNAMIC_TCP_PORTS"]="20000,20001"
• 改造kubelet在构建容器配置时生成环境变量
  DYNAMIC_TCP_PORT_0=20000
  DYNAMIC_TCP_PORT_1=20001
• 应用从环境变量中读取需要的使用的动态端口号
  这里有两种模式可以实现，第一种，通过启动脚本读取环境变量，更新程序的配置文件中的端口号。
  另外一种，就是程序本身能够从环境变量中读取所需的环境变量。
  一般来说我们都是采用第一种方案，这样不需要应用程序去适配，思路如下：
  应用配置文件如下所示：

[conf]
port={{.DYNAMIC_TCP_PORT_0}}

基于text/template我们可以改变配置文件：

  ports := make(map[string]string)
  for _, e := range os.Environ() {
        pair := strings.Split(e, "=")
        if strings.StartWith(pair[0], "DYNAMIC_TCP_PORT") {
          ports[pair[0]] = pair[1]
        }
  }
  tmpl, _ := template.New("test").ParseFile(confFile)
  content, _ := tmpl.Write(ports)

实际运行例子

• 准备hello_world.yaml文件

apiVersion: v1
kind: Pod
metadata:
  name: hw
spec: 
  restartPolicy: Never
  hostNetwork: true
  containers:
  - name: hello
    image: "ubuntu:14.04"
    command: [ "/bin/bash", "-c", "--" ]
    args: [ "while true; do sleep 1; echo helloworld; done;" ]
    env:
    - name: DYNAMIC_TCP_PORTS
      value: "2"

• 创建Pod

root@bogon:~/k8s# kubectl create -f hello_world.yaml
pod "hw" created

root@bogon:~/k8s# kubectl get pods
NAME      READY     STATUS    RESTARTS   AGE
hw           1/1       Running          0          14s

• 查看动态分配的端口号

root@bogon:~/k8s# kubectl exec hw env | grep DYNAMIC
DYNAMIC_TCP_PORTS=2
DYNAMIC_TCP_PORTS_0=20000
DYNAMIC_TCP_PORTS_1=20001