Kubernetes集群水平扩展——HPA（自动伸缩）

Kubernetes集群可以通过Replication Controller的scale机制完成服务的扩容或缩容，实现具有伸缩性的服务。

Kubernetes集群自动伸缩分为：

sacle手动伸缩：kubernetes资源对象的升级、回滚、扩容、缩容
autoscale自动伸缩：也就是本篇博文所介绍的HPA；

Kubernetes自动扩展主要分为：
水平扩展：针对实例数目的增减；
垂直扩展：也就是单个实例就可以使用的资源的增减，比如增加CPU、内存；

一、HPA简介

HPA的全称为（Horizontal Pod Autoscaling）它可以根据当前pod资源的使用率（如CPU、磁盘、内存等），进行副本数的动态的扩容与缩容，以便减轻各个pod的压力。当pod负载达到一定的阈值后，会根据扩缩容的策略生成更多新的pod来分担压力，当pod的使用比较空闲时，在稳定空闲一段时间后，还会自动减少pod的副本数量。

若要实现自动扩缩容的功能，还需要部署heapster服务，用来收集及统计资源的利用率，支持kubectl top命令，heapster服务集成在prometheus（普罗米修斯） MertricServer服务中，所以说，为了方便，我这里基于prometheus服务的环境上进行部署HPA（动态扩缩容）的服务。

可以参考博文Kubernetes的三种可视化UI界面中的第三个部署Prometheus服务，来运行prometheus服务，如果不想部署prometheus，那么可以参考github上来单独部署heapster服务。

说这么多，总之就是想要使用HPA，就必须保证，可以在master节点上执行如下命令：

[root@master kube-prometheus]# kubectl top node
NAME     CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%   
master   109m         2%     1565Mi          42%       
node01   70m          1%     1435Mi          39%       
node02   66m          1%     1438Mi          39%       

二、实现pod自动扩容与缩容

1）生成HPA控制器

[root@master ~]#  kubectl run php-apache --image=mirrorgooglecontainers/hpa-example --requests=cpu=200m --expose --port=80
#运行hpa资源，名称为php-apache，并设置请求CPU的资源为200m并暴露一个80端口
[root@master kube-prometheus]# kubectl get deployments.
NAME         READY   UP-TO-DATE   AVAILABLE   AGE
php-apache   1/1     1            1           4m56s
[root@master kube-prometheus]# kubectl top pod php-apache-867f97c8cb-w28rs 
NAME                          CPU(cores)   MEMORY(bytes)   
php-apache-867f97c8cb-w28rs   0m           9Mi             
[root@master ~]# kubectl autoscale deployment php-apache --cpu-percent=50 --min=1 --max=10
#当hpa资源的deployment资源对象的CPU使用率达到50%时，就进行扩容，最多可以扩容到10个
[root@master kube-prometheus]# kubectl get hpa
NAME         REFERENCE               TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
php-apache   Deployment/php-apache   0%/50%    1         10        1          10m
[root@master ~]# kubectl get svc | grep php-apache    #查看php-apache对应的svc群集IP
php-apache   ClusterIP   10.106.150.65           80/TCP    15m
[root@master kube-prometheus]# kubectl get pod | grep php-apa
php-apache-867f97c8cb-w28rs   1/1     Running   0          31m

2）模拟消耗php-apache的资源，并验证pod是否会自动扩容与缩容
新开启多个终端（也可使用node节点），对php-apache的pod进行死循环请求，如下（如果你的系统资源比较充足，可以选择开启多个终端，对pod进行死循环请求，我这里开启了两个node的终端，同时请求php-apache的pod）：

#模拟多用户对php-apache的pod造成的并发请求
[root@node01 ~]# while true; do wget -q -O- 10.106.150.65; done 
OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!

#模拟多用户对php-apache的pod造成的并发请求
[root@node02 ~]# while true; do wget -q -O- 10.106.150.65; done 
OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!

#一直返回ok属于正常现象

[root@master kube-prometheus]# kubectl get hpa -w   #查看hpa资源对cpu的占用情况
NAME         REFERENCE               TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
php-apache   Deployment/php-apache   0%/50%    1         10        1          32m
php-apache   Deployment/php-apache   164%/50%   1         10        1          32m
php-apache   Deployment/php-apache   164%/50%   1         10        4          33m
php-apache   Deployment/php-apache   935%/50%   1         10        4          33m
php-apache   Deployment/php-apache   935%/50%   1         10        8          33m
php-apache   Deployment/php-apache   533%/50%   1         10        10         33m
[root@master ~]#  kubectl get pod
#在运行死循环请求一段时间后，查看pod数量，当然使用-w选项对pod的变化进行实时的监控
php-apache-867f97c8cb-fmzzp   1/1     Running   0          3m8s
php-apache-867f97c8cb-g2nht   1/1     Running   0          3m23s
php-apache-867f97c8cb-mqnqp   1/1     Running   0          3m23s
php-apache-867f97c8cb-nj25j   1/1     Running   0          3m23s
php-apache-867f97c8cb-pk7lg   1/1     Running   0          3m23s
php-apache-867f97c8cb-v5mbt   1/1     Running   0          3m52s
php-apache-867f97c8cb-w28rs   1/1     Running   0          36m
php-apache-867f97c8cb-wz479   1/1     Running   0          3m8s
php-apache-867f97c8cb-xm8cb   1/1     Running   0          3m52s
php-apache-867f97c8cb-xr7sx   1/1     Running   0          3m52s
#当然最大也就只可以产生10个pod，因为我们之前规定最多产生10个pod
[root@master kube-prometheus]# kubectl get deployments.
NAME         READY   UP-TO-DATE   AVAILABLE   AGE
php-apache   10/10   10           10          37m

当停止死循环请求后，也并不会立即减少pod数量，会等一段时间后减少pod数量，防止流量再次激增。

间隔10分钟左右在此查看

[root@master kube-prometheus]# kubectl get hpa 
NAME         REFERENCE               TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
php-apache   Deployment/php-apache   0%/50%    1         10        1          40m
[root@master kube-prometheus]# kubectl get pod 
NAME                          READY   STATUS    RESTARTS   AGE
php-apache-867f97c8cb-w28rs   1/1     Running   0          41m
[root@master kube-prometheus]# kubectl get deployments.
NAME         READY   UP-TO-DATE   AVAILABLE   AGE
php-apache   1/1     1            1           41m

至此，HPA实现pod副本数量的自动扩容与缩容就实现了。