k8s测试十二 集群调度过程

Node亲和情：

测试硬策略NotIn：

查看kubernetes.io/hostname:

kubectl get node --show-labels

apiVersion: apps/v1
kind: Deployment
metadata:
  name: affinity-deployment
spec:
  selector:
    matchLabels:
     app: mynginx
  replicas: 10
  template:
    metadata:
      labels:
        app: mynginx
    spec:
      containers:
      - name: with-node-affinity
        image: nginx:1.17.8
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution: #硬策略
            nodeSelectorTerms:
            - matchExpressions:
              - key: kubernetes.io/hostname
                operator: NotIn  #只要不是 node2即可
                values:
                - k8s-node2

 10个pod均未创建在node2

测试软策略In：

yaml:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: affinity-deployment
spec:
  selector:
    matchLabels:
     app: mynginx
  replicas: 10
  template:
    metadata:
      labels:
        app: mynginx
    spec:
      containers:
      - name: with-node-affinity
        image: nginx:1.17.8
      affinity:
        nodeAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 1
            preference:
              matchExpressions:
              - key: kubernetes.io/hostname
                operator: In
                values:
                - k8s-node3

 软策略制定node3，但是只有两个节点。也只能部署在node1和node2

Pod亲和性：

硬策略测试过程：创建一个可能出现在随机节点的pod-1，创建一个具有10个副本的 Deployment 使之跟随pod-1所在节点。

 pod-1.yaml:

apiVersion: v1
kind: Pod
metadata:
  name: pod1
  labels:
    app: pod1
spec:
  containers:
  - name: pod1
    image: nginx:1.17.8

 mynging.yaml:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: deployment1
spec:
  selector:
    matchLabels:
      app: mynginx
  replicas: 10
  template:
    metadata:
      labels:
        app: mynginx
    spec:
      containers:
      - name: pod-3
        image: nginx:1.17.8
      affinity:
         podAffinity:
            requiredDuringSchedulingIgnoredDuringExecution:
            - labelSelector:
                 matchExpressions:
                 - key: app
                   operator: In
                   values:
                   - pod1
              topologyKey: kubernetes.io/hostname

 

集群调度过程

简介：

Scheduler是Kubernetes的调度器，主要的任务是把定义的pod分配到集群的节点上。听起来非常简单，但有很多要考虑的问题：

• 公平：如何保证每个节点都能被分配资源
• 资源高效利用：集群所有资源最大化被使用
• 效率：调度的性能要好，能够尽快地对大批量的pod完成调度工作
• 灵活：允许用户根据自己的需求控制调度的逻辑

Scheduler是作为单独的程序运行的，启动之后会一直监听ApiServer，获取PodSpec.NodeName为空的Pod，对每个Pod都会创建一个binding，表明该Pod应该放到哪个节点上。

调度过程

调度分为几个部分：首先是过滤掉不满足条件的节点，这个过程称之为predicate;然后对通过的节点按照优先级排序，这个是priority；最后从中选择优先级最高的节点。如果中间任何一步骤有错误，就直接返回错误。

• Predicate有一系列的算法可以使用：
• PodFitsResources：节点上剩余的资源是否大于pod请求的资源
• PodFitsHost：如果pod指定了NodeName，检查节点名称是否和NodeName匹配
• PodFitsHostPorts：节点上已经使用的port是否和pod申请的port冲突
• PodSelectorMatches：过滤和pod指定的label不匹配的节点
• NoDiskConflict：已经mount的volume和pod指定的volume不冲突，除非它们都是只读

如果在predicate过程中没有合适的节点，pod会一直在pending状态，不断重试调度，直到有节点满足条件。

经过这个步骤，如果有多个节点满足条件，就继续priorities过程：按照优先级大小对节点排序

优先级由一系列键值对组成，键是该优先级项的名称，值是它的权重（该项的重要性）。这些优先级选项包括。

• leasstRequestedPriority：通过计算CPU和Memory的使用率来决定权重，使用率越低权重越高。换句话说，这个优先级指标倾向于资源使用比例更低的节点。
• BalancedResourceAllocation：节点上CPU和Memory使用率越接近，权重越高。这个应该和上面的一起使用，不应该单独使用。
• ImageLocalityPriority：倾向于已经有要使用镜像的节点，镜像总大小值越大，权重越高

通过算法对所有的优先级项目和权重进行计算，得出最终的结果

自定义调度器

除了kubernetes自带的调度器，你也可以编写自己的调度器。通过spec：schedulername参数指定调度器的名字，可以为pod选择某个调度器进行调度。比如下面的pod选择 my-scheduler进行调度，而不是默认的default-scheduler:

apiVersion: v1
kind: Pod
metadata:
  name: annotation-second-scheduler
  labels:
    name: multischeduler-example
spec:
  schedulername: my-scheduler
  containers:
  - name: pod-wich-second-annotation-container
    image: gcr.io/google_containners/pause:2.0

节点亲和性

pod.spec.nodeAffinity

•   preferredDuringSchedulinglgnoredDuringExecution:软策略
•   requiredDuringSchedulingIgnoredDuringExecution :硬策略

键值运算关系

• In:label的值在某个列表中
• NotIn:label的值大于某个值
• Gt:label的值大于某个值
• Lt:label的值小于某个值
• Exists:某个label存在
• DoesNotExist:某个label不存在

Pod亲和性

pod.spec.affinity.podAffinity/podAntiAffinity

• preferredDuringSchedulingIgnoredDuringExecution：软策略
• requiredDuringSchedulingIgnoredDuringExecution：硬策略

调度策略	匹配标签	操作符	拓扑域支持	调度目标
nodeAffinity	主机	In,NotIn,Exists,DoesNotExist,Gt,Lt	否	指定主机
podAffinity	POD	In,NotIn,Exists,DoesNotExist	是	POD与指定POD同一拓扑域
podAnitAffinity	POD	In,NotIn,Exists,DoesNotExist	是	POD于指定POD不在同一拓扑域