k8s 节点的 NodeAffinity 使用

在 k8s 中，pod 会通过 kube-scheduler 按照节占先有的资源平均的调度到这些节点上，但有时候，我们需要将某个应用的pod调度到特定的节点上，
比如：两个应用需要频繁的进行通讯，那么我们希望将它们部署到同一个节点。或者希望访问一些类似需要ssd这样特殊资源的节点等应用场景。

最简单的方法是使用 nodeSelector，但它比较简单粗暴，使用起来不能灵活调度，这个在后续版本中也会慢慢过实，所以我们一般用 nodeAffinity来实现这些需求。

具体演示如下：

# 列出集群所有节点
-[appuser@chenqiang-dev ~]$ kubectl get no
NAME           STATUS    ROLES     AGE       VERSION
10.130.14.67   Ready         35d       v1.9.3
10.130.14.68   Ready         90d       v1.9.3
10.130.14.73   Ready         89d       v1.9.3

# 删除之前打过的标签 tester=chenqiang
-[appuser@chenqiang-dev ~]$ kubectl label no 10.130.14.67 tester-   
node "10.130.14.67" labeled

# 重新打标签 tester=chenqiang
-[appuser@chenqiang-dev ~]$ kubectl label no 10.130.14.67 tester=chenqiang
node "10.130.14.67" labeled

# 查看所有标签
-[appuser@chenqiang-dev ~]$ kubectl get no --show-labels                 
NAME           STATUS    ROLES     AGE       VERSION   LABELS
10.130.14.67   Ready         35d       v1.9.3    beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,ingress-nginx=true,kubernetes.io/hostname=10.130.14.67,tester=chenqiang
10.130.14.68   Ready         90d       v1.9.3    beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,ingress-nginx=true,kubernetes.io/hostname=10.130.14.68
10.130.14.73   Ready         89d       v1.9.3    beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/hostname=10.130.14.73

# 通过特定标签进行过滤节点
-[appuser@chenqiang-dev ~]$ kubectl get no -l tester=chenqiang
NAME           STATUS    ROLES     AGE       VERSION
10.130.14.67   Ready         35d       v1.9.3

如果我不希望pod调度到打了 tester=chenqiang 这个标签的 node，那么需要使用 NotIn 这个介词，否则使用 In 。
假设不希望调度，则添加如下的 nodeAffinity:

    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: tester
                operator: NotIn
                values:
                - chenqiang

一个完整的例子如下：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-hello-deployment
  namespace: chenqiang-ns1
  labels:
    app: nginx-hello
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx-hello
  template:
    metadata:
      labels:
        app: nginx-hello
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: tester
                operator: NotIn
                values:
                - chenqiang
      containers:
      - name: nginx-hello
        image: docker-registry.saicstack.com/chenqiang/nginx-hello:v2.0
        ports:
        - containerPort: 80
      imagePullSecrets:
      - name: regcred

从测试结果看，果然没有调度到 10.130.14.67 这个节点。

-[appuser@chenqiang-dev ~]$ kubectl -n chenqiang-ns1 get po -o wide    
NAME                                     READY     STATUS    RESTARTS   AGE       IP               NODE
nginx-hello-deployment-95f99df9d-56fvz   1/1       Running   0          11m       172.12.8.247     10.130.14.73
nginx-hello-deployment-95f99df9d-mj6xs   1/1       Running   0          11m       172.12.185.208   10.130.14.68