关于PaaS平台集成解决方案，作者侧重F5与PaaS（K8S为例）集成的方案，将从管理平面的高可用安全、应用自动发布、蓝绿发布、可视化4点论述。本文详细阐述了观点之一，即管理平面的高可用安全。
晏顺
F5解决方案顾问
拥有十多年运营商和金融行业从业经验，2012年加入F5。 熟悉运营商核心网和金融信息系统架构，专注于客户整体架构设计和应用的快速灵捷的交付。主要研究方向为云计算，容器及DevOps。涵盖多云环境下资源的弹性扩展，应用交付的自动化部署，运维自动化；以及云环境中安全高可用架构的实现。具有丰富的数据中心架构设计以及自动化平台对接经验，完成了多家互联网金融企业自动化运维平台的对接上线。
K8S多个主节点部署旨在以一种没有单一故障点的方式设置Kubernetes及其支持组件。单个master节点的群集很容易产生故障，而多master节点群集使用多个主节点，每个主节点都可以访问相同的工作节点。在单个主集群中，API服务器，控制器管理器等重要组件仅位于单个主节点上，如果失败，则无法创建更多服务，pod等。但是，在多master节点环境中，这些重要组件在多个节点上运行，通常生产环境中建议使用三个master节点。如果任何master节点失效，其他master节点仍能保证群集正常运行。
多主机的优点：
在单个master设置中，主节点管理etcd数据库，API服务器，控制器管理器和调度程序以及工作节点。但是，如果该单个master节点发生故障，则所有工作节点也会发生故障，整个群集将失效。
相比之下，在多主设置中，多主设备可为单个群集提供高可用性并提高网络性能。
多主机设置可防止各种故障模式，从单个工作节点丢失到主节点的etcd服务故障。通过提供冗余，多主集群为最终用户提供高可用性系统。
下面讲介绍通过F5的LTM和AWAF模块实现k8s集群master节点的高可用和安全防护。
01、安装并部署k8s。配置和部署过程不再赘述，大家可参考kubernetes官网步骤。配置完成后通过kubectl cluster-info查看集群状态。
k8s@k8s-node1:~$ kubectl cluster-info
Kubernetes master is running at https://10.1.1.174:6443
KubeDNS is running at https://10.1.1.174:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy
To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.
02、配置F5 BIG-IP。该过程包括配置Vlan, self ip以及pool和VS。
网络部分配置：
[root@k8s:Active:Standalone] dosl7 # tmsh list net vlan management
net vlan management {
fwd-mode l3
if-index 176
interfaces {
1.1 { }
}
tag 4094
}
[root@k8s:Active:Standalone] dosl7 # tmsh list net self management-ip
net self management-ip {
address 10.1.1.176/24
allow-service {
default
}
traffic-group traffic-group-local-only
vlan management}
Pool和VS部分配置：
在Pool中增加了k8s master节点的地址，并增加了健康检查实时检测master节点的健康状况。下面例子中使用了简单的ping探测，在实际生产环境中可以通过定制化健康检查模拟发送API请求，确保master节点从服务角度的可用性。增加新的master节点只需对应增加pool member。
[root@k8s:Active:Standalone] dosl7 # tmsh list ltm pool k8s-master
ltm pool k8s-master {
members {
10.1.1.174:sun-sr-https {
address 10.1.1.174
session monitor-enabled
state up
}
VS层面除了配置了基本的负载功能外还基于安全特性增加了AWAF针对API的防护策略以及针对master集群的DDos保护。
[root@k8s:Active:Standalone] dosl7 # tmsh list ltm virtual
ltm virtual k8s-master-vs {
destination 10.1.1.100:sun-sr-https
ip-protocol tcp
mask 255.255.255.255
policies {
asm_auto_l7_policy__k8s-master-vs { }
}
测试过程：
1
基本负载功能
通过F5发布的VS实现k8s master节点的访问。使用kubectl命令通过F5 VS查询集群状态，以下命令显示查询成功。
k8s@k8s-node1:~$ kubectl -s https://10.1.1.100:6443 get node --insecure-skip-tls-verify=true
NAME STATUS ROLES AGE VERSION
k8s-node1 Ready master 125d v1.13.1
k8s-node2 NotReady
2
kube-hunter安全扫描
kube-hunber是aqua发布的开源工具，可以发现Kubernetes集群中的安全问题。
通过kube-hunber对集群进行扫描：
Choose one of the options below:
1. Remote scanning (scans one or more specific IPs or DNS names)
2. Subnet scanning (scans subnets on all local network interfaces)
3. IP range scanning (scans a given IP range)
Your choice: 1
Remotes (separated by a ','): 10.1.1.174
~ Started
~ Discovering Open Kubernetes Services...
Report will be available at:
+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| https://kube-hunter.aquasec.com/report.html?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJ0aW1lIjoxNTU2NTAzMjg3Ljc0MjM5OCwiZW1haWwiOiJqLnlhbkBmNS5jb20iLCJyIjoiZTJkYzUyNTkifQ.ezrzL-G57mOr1IqMO1YII0o7Duvzx-H9aGnEq9uwc6Y |
+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|
| Etcd:
| type: open service
| service: Etcd
|_ host: 10.1.1.174:2379
|
| Kubelet API:
| type: open service
| service: Kubelet API
|_ host: 10.1.1.174:10250
|
| API Server:
| type: open service
| service: API Server
|_ host: 10.1.1.174:6443
----------
Nodes
+-------------+------------+
| TYPE | LOCATION |
+-------------+------------+
| Node/Master | 10.1.1.174 |
+-------------+------------+
Detected Services
+-------------+------------------+----------------------+
| SERVICE | LOCATION | DESCRIPTION |
+-------------+------------------+----------------------+
| Kubelet API | 10.1.1.174:10250 | The Kubelet is the |
| | | main component in |
| | | every Node, all pod |
| | | operations goes |
| | | through the kubelet |
+-------------+------------------+----------------------+
| Etcd | 10.1.1.174:2379 | Etcd is a DB that |
| | | stores cluster's |
| | | data, it contains |
| | | configuration and |
| | | current state |
| | | information, and |
| | | might contain |
| | | secrets |
+-------------+------------------+----------------------+
| API Server | 10.1.1.174:6443 | The API server is in |
| | | charge of all |
| | | operations on the |
| | | cluster. |
+-------------+------------------+----------------------+
No vulnerabilities were found
1.13.1版本的master没有发现安全漏洞。对1.10.2版本进行扫描可发现安全漏洞。
经过F5 VS访问则可以屏蔽高风险CVE，告警仅针对与自签发证书。
3
针对master节点发起SQL注入测试，经过F5 AWAF防护后，请求被拦截
k8s@k8s-node1:~$ curl -k https://10.1.1.100:6443/api/v1/namespaces/default/services?limit=500' or 1=1 --'
Your support ID is: 2542351585300712947
[Go Back]
BIG-IP图形界面中可以看到相应的拦截日志：
4
通过ab客户端模拟向api server发起DDoS攻击，通过F5 VS上开启的应用层DDoS防护，可以对攻击进行拦截。
ab -n 1000 -c 10 https://10.1.1.100:6443/api/v1/namespaces/default/services?limit=500
Concurrency Level: 10
Time taken for tests: 30.531 seconds
Complete requests: 1000
Failed requests: 806
总之，通过BIG-IP可以实现k8s集群高可用，同时可以从安全防护角度确保k8s的稳定持续交付。