kubernetes 1.6版以上1.8版以下弹性伸缩HPA-Memory

一：前言

在kubernetes中，Pod是最基础的调度单位，多个pod 可以组成一个集合，这个集合向外提供服务。这时候，我们需要以下两种情形需要关注：

1）集合中的Pod可能会由于某种原因Fail，这时候需要某种机制能够创建新的Pod以确保有足够数量的Pod在运行。

2）Pod 的个数由访问请求决定。即当前实例个数不足以满足访问请求时，需要增加实例个数，反之，需要通过某种策略减少实例数。

如果人工来实时监控实例的运行状态，手动启动新的pod以替代fail的pod，监控实例的负载情况，手动创建或者删除pod，这个工作繁琐且工作量大，好在kubernetes已经有相应的机制来应对这种变化。 
本篇文章主要介绍在k8s1.6版本以上，k8s1.8版本一下,HPA基于CPU、Memory的弹性伸缩，采用heaspter收集的监控指标。

二：部署目标

• 运行一个php-apache-cpu实例
• 创建一个基于CPU弹性的HPA资源
• 对实例进行压测
• 对HPA进行验证
• 运行一个php-apache-memory实例
• 创建一个基于Memory弹性的HPA资源
• 对实例进行压测
• 对HPA进行验证

三：HPA原理图 ##

Kubernetes有一个HPA(Horizontal Pod Autoscaler)的资源，可以实现基于CPU使用率的Pod自动伸缩的功能。HPA基于Master Node上的kube-controller-manager服务启动参数–horizontal-pod-autoscaler-sync-period定义的时长(默认为30秒)，周期性的检测Pod的CPU使用率(需要事先安装heapster)。如果需要设置–horizontal-pod-autoscaler-sync-period可以在Master Node上的/etc/default/kube-controller-manager中修改。 

四：部署步骤

基于CPU的HPA

创建php-apache-cpu实例的Deployment和Service 
通过kubectl 命令创建Deployment和Service. 
命令如下：

kubectl run php-apache-cpu --image=gcr.io/google_containers/hpa-examplel:v1.0 --requests=cpu=200m --expose --port=80
service "php-apache-cpu" created
deployment "php-apache-cpu” created

创建HPA可以通过命令行和yaml文件创建。 
yaml文件方式 
通过kubectl create -f hpa-cpu-example.yaml文件创建HPA.文件内容如下：

apiVersion: autoscaling/v1
kind: HorizontalPodAutoscaler
metadata:
  name: php-apache
  namespace: default
spec:
  scaleTargetRef:
    apiVersion: v1
    kind: Deployment
    name: php-apache-cpu
  minReplicas: 1
  maxReplicas: 10
  targetCPUUtilizationPercentage: 50

• 
  

命令行方式：

kubectl autoscale deployment php-apache-cpu --cpu-percent=50 --min=1 --max=10
deployment "php-apache-cpu" autoscaled

• 
  

查看创建的hpa，结果发现当前的CPU使用率CURRENT显示为waiting.

# kubectl get hpa php-apache-cpu
NAME         REFERENCE                                TARGET    CURRENT     MINPODS   MAXPODS   AGE
php-apache-cpu   Deployment/php-apache-cpu   50%          1         10        8s

• 注意：有可能是由于heapster组件没有安装，也有可能是数据没有检测到，默认heapster采集时间为1分，需要稍等一会看一下状态。

# kubectl get hpa php-apache-cpu
NAME         REFERENCE                                TARGET    CURRENT     MINPODS   MAXPODS   AGE
php-apache-cpu   Deployment/php-apache-cpu   50%       0%   1         10        60s

• 如果要查看hpa的事件，kubectl describe hpa php-apache-cpu ，会出这些错误信息 

MetricsNotAvailableYet unable to get metrics for resource cpu: no metrics returned from heapster。 
这种错误信息需要稍等一会多看几次，分析一下是什么原因导致的，有可能只是时间差导致的。

对php-apache-cpu进行压力测试

kubectl run -i --tty load-generator --image=busybox:latest /bin/sh #进入容器后执行一下命令

while true; do wget -q -O- http://php-apache-cpu.default.svc.cluster.local; done

• 压测几分钟后查看hpa状态，如果cpu压力超过了设置的阈值，可以停止压测。 

查看hpa状态： 
NAME REFERENCE TARGET CURRENT MINPODS MAXPODS AGE 
php-apache-cpu Deployment/php-apache-cpu 50% 200% 1 10 60s 
状态已经超过了阈值，此时查看pod，pod的数量已经增加了。

root@ansible:# kubectl get pods
NAME                             READY     STATUS    RESTARTS   AGE
load-generator-535521892-scxsg   1/1       Running   0          6d
ache-1czu1                 1/1       Running   0          6d
php-apache-cpu-a4g4x                 1/1       Running   0          6d
php-apache-cpu-d2nn1                 1/1       Running   0          6d
php-apache-cpu-epnpf                 1/1       Running   0          6d
php-apache-cpu-ffuhk                 1/1       Running   0          6d
php-apache-cpu-g78ms                 1/1       Running   0          6d
php-apache-cpu-nglin                 1/1       Running   0          6d
php-apache-cpu-sxz5y                 1/1       Running   0          7d
php-apache-cpu-t7s8e                 1/1       Running   0          6d
php-apache-cpu-v7zxm                 1/1       Running   0          6d

• 
  

当停止压力测试之后，过一段时间，Pod数量又会恢复到1。

基于Memory的HPA

创建php-apache-memory实例的Deployment和Service 
通过kubectl 命令创建Deployment和Service. 
命令如下：

kubectl run php-apache-mem --image=gcr.io/google_containers/hpa-examplel:v1.0 --requests=cpu=200mi --expose --port=80
service "php-apache-mem" created
deployment "php-apache-mem" created

• 
  

创建HPA资源 
通过autoscaling/v2alpha1获取yaml文件，通过kube-adm安装的kubernetes,默认是不支持此API的，在安装时需要开启此支持，参考<支持内存HPA Memory指标的Kubernetes的部署>,命令如下

 kubectl get hpa.v2alpha1.autoscaling -o yaml > /tmp/hpa-v2.yaml

• 注意：API版本autoscaling/v2alpha1根据kubernetes版本而变，1.8以上改为autoscaling/v2beta1 

文件内容如下：

apiVersion: autoscaling/v2alpha1
kind: HorizontalPodAutoscaler
metadata:
  name: php-apache-cpu
  namespace: default
spec:
  scaleTargetRef:
    apiVersion: apps/v1beta1
    kind: Deployment
    name: php-apache-cpu
  minReplicas: 1
  maxReplicas: 10
  metrics:
  - type: Resource
    resource:
      name: cpu
      targetAverageUtilization: 50
status:
  observedGeneration: 1
  lastScaleTime: <some-time>
  currentReplicas: 1
  desiredReplicas: 1
  currentMetrics:
  - type: Resource
    resource:
      name: cpu
      currentAverageUtilization: 0
      currentAverageValue: 0

注意到CPU的指标targetCPUUtilizationPercentage被metrics替代了。 
targetAverageValue 被 targetAverageUtilization替代 
将上面的cpu改为内容memory，就可以创建基于memory的HPA资源了。 
也可以使用下面的hpa-memory-example.yaml内容。

apiVersion: autoscaling/v2alpha1
kind: HorizontalPodAutoscaler
metadata:
  name: php-apache-mem
  namespace: default
spec:
  maxReplicas: 10
  metrics:
  - resource:
      name: memory
      targetAverageUtilization: 10
    type: Resource
  minReplicas: 1
  scaleTargetRef:
    apiVersion: extensions/v1beta1
    kind: Deployment
    name: php-apache-mem

• 
  

查看创建的hpa，结果发现当前的memory使用率CURRENT显示为waiting.

 kubectl get hpa php-apache-mem
NAME         REFERENCE                                TARGET    CURRENT     MINPODS   MAXPODS   AGE
php-apache-mem   Deployment/php-apache-mem   10%       <waiting>   1         10        8s

• 
  

注意：有可能是由于heapster组件没有安装，也有可能是数据没有检测到，默认heapster采集时间为1分，需要稍等一会看一下状态。

 kubectl get hpa php-apache-mem
NAME         REFERENCE                                TARGET    CURRENT     MINPODS   MAXPODS   AGE
php-apache-mem   Deployment/php-apache-mem   50%       0%   1         10        60s

• 
  

如果要查看hpa的事件，kubectl describe hpa php-apache-mem ，会出这些错误信息 
MetricsNotAvailableYet unable to get metrics for resource mem: no metrics returned from heapster。 
这种错误信息需要稍等一会多看几次，分析一下是什么原因导致的，有可能只是时间差导致的。

对php-apache-mem进行压力测试

kubectl run -i --tty load-generator --image=busybox:latest /bin/sh #进入容器后执行一下命令

while true; do wget -q -O- http://php-apache-mem.default.svc.cluster.local; done

• 
  

压测几分钟后查看hpa状态，如果cpu压力超过了设置的阈值，可以停止压测。 
查看hpa状态： 
NAME REFERENCE TARGET CURRENT MINPODS MAXPODS AGE 
php-apache-mem Deployment/php-apache-mem 10% 20% 1 10 60s 
状态已经超过了阈值，此时查看pod，pod的数量已经增加了。

root@ansible:# kubectl get pods
NAME                             READY     STATUS    RESTARTS   AGE
load-generator-535521892-scxsg   1/1       Running   0          6d
ache-1czu1                 1/1       Running   0          6d
php-apache-mem-a4g4x                 1/1       Running   0          6d
php-apache-mem-d2nn1                 1/1       Running   0          6d
php-apache-mem-epnpf                 1/1       Running   0          6d
php-apache-mem-ffuhk                 1/1       Running   0          6d
php-apache-mem-g78ms                 1/1       Running   0          6d
php-apache-mem-nglin                 1/1       Running   0          6d
php-apache-mem-sxz5y                 1/1       Running   0          7d
php-apache-mem-t7s8e                 1/1       Running   0          6d
php-apache-mem-v7zxm                 1/1       Running   0          6d

• 
  

当停止压力测试之后，过一段时间，Pod数量又会恢复到1。

四：总结已经注意事项

1. 参考官方文档HPA官方文档
2. 如果设置了horizontal-pod-autoscaler-use-rest-clients=true，HPA资源无法从heaspter获取监控指标
3. 后续会增加多指标的文档