DevOps研习社:PaaS平台集成解决方案——F5实现K8S管理平面的高可用和安全

  关于PaaS平台集成解决方案,作者侧重F5与PaaS(K8S为例)集成的方案,将从管理平面的高可用安全、应用自动发布、蓝绿发布、可视化4点论述。本文详细阐述了观点之一,即管理平面的高可用安全。

 DevOps研习社:PaaS平台集成解决方案——F5实现K8S管理平面的高可用和安全_第1张图片

  晏顺
  F5解决方案顾问

  拥有十多年运营商和金融行业从业经验,2012年加入F5。 熟悉运营商核心网和金融信息系统架构,专注于客户整体架构设计和应用的快速灵捷的交付。主要研究方向为云计算,容器及DevOps。涵盖多云环境下资源的弹性扩展,应用交付的自动化部署,运维自动化;以及云环境中安全高可用架构的实现。具有丰富的数据中心架构设计以及自动化平台对接经验,完成了多家互联网金融企业自动化运维平台的对接上线。

  K8S多个主节点部署旨在以一种没有单一故障点的方式设置Kubernetes及其支持组件。单个master节点的群集很容易产生故障,而多master节点群集使用多个主节点,每个主节点都可以访问相同的工作节点。在单个主集群中,API服务器,控制器管理器等重要组件仅位于单个主节点上,如果失败,则无法创建更多服务,pod等。但是,在多master节点环境中,这些重要组件在多个节点上运行,通常生产环境中建议使用三个master节点。如果任何master节点失效,其他master节点仍能保证群集正常运行。
  多主机的优点:
  在单个master设置中,主节点管理etcd数据库,API服务器,控制器管理器和调度程序以及工作节点。但是,如果该单个master节点发生故障,则所有工作节点也会发生故障,整个群集将失效。
  相比之下,在多主设置中,多主设备可为单个群集提供高可用性并提高网络性能。
  多主机设置可防止各种故障模式,从单个工作节点丢失到主节点的etcd服务故障。通过提供冗余,多主集群为最终用户提供高可用性系统。

DevOps研习社:PaaS平台集成解决方案——F5实现K8S管理平面的高可用和安全_第2张图片

  下面讲介绍通过F5的LTM和AWAF模块实现k8s集群master节点的高可用和安全防护。
  DevOps研习社:PaaS平台集成解决方案——F5实现K8S管理平面的高可用和安全_第3张图片

  01、安装并部署k8s。配置和部署过程不再赘述,大家可参考kubernetes官网步骤。配置完成后通过kubectl cluster-info查看集群状态。

  k8s@k8s-node1:~$ kubectl cluster-info
  Kubernetes master is running at https://10.1.1.174:6443
  KubeDNS is running at https://10.1.1.174:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

  To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.

  02、配置F5 BIG-IP。该过程包括配置Vlan, self ip以及pool和VS。
  网络部分配置:
  [root@k8s:Active:Standalone] dosl7 # tmsh list net vlan management
  net vlan management {
      fwd-mode l3
      if-index 176
      interfaces {
          1.1 { }
      }
      tag 4094
  }
  [root@k8s:Active:Standalone] dosl7 # tmsh list net self management-ip
  net self management-ip {
      address 10.1.1.176/24
      allow-service {
          default
  }
      traffic-group traffic-group-local-only
      vlan management}

  Pool和VS部分配置:
  在Pool中增加了k8s master节点的地址,并增加了健康检查实时检测master节点的健康状况。下面例子中使用了简单的ping探测,在实际生产环境中可以通过定制化健康检查模拟发送API请求,确保master节点从服务角度的可用性。增加新的master节点只需对应增加pool member。

  [root@k8s:Active:Standalone] dosl7 # tmsh list ltm pool k8s-master
  ltm pool k8s-master {
      members {
          10.1.1.174:sun-sr-https {
              address 10.1.1.174
              session monitor-enabled
              state up
          }

  VS层面除了配置了基本的负载功能外还基于安全特性增加了AWAF针对API的防护策略以及针对master集群的DDos保护。

  [root@k8s:Active:Standalone] dosl7 # tmsh list ltm virtual
  ltm virtual k8s-master-vs {
      destination 10.1.1.100:sun-sr-https
      ip-protocol tcp
      mask 255.255.255.255
      policies {
          asm_auto_l7_policy__k8s-master-vs { }
      }

  测试过程:
  1
  基本负载功能

  通过F5发布的VS实现k8s master节点的访问。使用kubectl命令通过F5 VS查询集群状态,以下命令显示查询成功。
  k8s@k8s-node1:~$ kubectl -s https://10.1.1.100:6443 get node --insecure-skip-tls-verify=true
  NAME        STATUS     ROLES    AGE    VERSION
  k8s-node1   Ready      master   125d   v1.13.1
  k8s-node2   NotReady     125d   v1.13.1
  2
  kube-hunter安全扫描
  kube-hunber是aqua发布的开源工具,可以发现Kubernetes集群中的安全问题。
  通过kube-hunber对集群进行扫描:
  Choose one of the options below:
  1. Remote scanning      (scans one or more specific IPs or DNS names)
  2. Subnet scanning      (scans subnets on all local network interfaces)
  3. IP range scanning    (scans a given IP range)
  Your choice: 1
  Remotes (separated by a ','): 10.1.1.174
  ~ Started
  ~ Discovering Open Kubernetes Services...

  Report will be available at:
  +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  | https://kube-hunter.aquasec.com/report.html?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJ0aW1lIjoxNTU2NTAzMjg3Ljc0MjM5OCwiZW1haWwiOiJqLnlhbkBmNS5jb20iLCJyIjoiZTJkYzUyNTkifQ.ezrzL-G57mOr1IqMO1YII0o7Duvzx-H9aGnEq9uwc6Y |
  +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

  |
  | Etcd:
  |   type: open service
  |   service: Etcd
  |_  host: 10.1.1.174:2379
  |
  | Kubelet API:
  |   type: open service
  |   service: Kubelet API
  |_  host: 10.1.1.174:10250
  |
  | API Server:
  |   type: open service
  |   service: API Server
  |_  host: 10.1.1.174:6443

  ----------

  Nodes
  +-------------+------------+
  | TYPE        | LOCATION   |
  +-------------+------------+
  | Node/Master | 10.1.1.174 |
  +-------------+------------+

  Detected Services
  +-------------+------------------+----------------------+
  | SERVICE     | LOCATION         | DESCRIPTION          |
  +-------------+------------------+----------------------+
  | Kubelet API | 10.1.1.174:10250 | The Kubelet is the   |
  |             |                  | main component in    |
  |             |                  | every Node, all pod  |
  |             |                  | operations goes      |
  |             |                  | through the kubelet  |
  +-------------+------------------+----------------------+
  | Etcd        | 10.1.1.174:2379  | Etcd is a DB that    |
  |             |                  | stores cluster's     |
  |             |                  | data, it contains    |
  |             |                  | configuration and    |
  |             |                  | current state        |
  |             |                  | information, and     |
  |             |                  | might contain        |
  |             |                  | secrets              |
  +-------------+------------------+----------------------+
  | API Server  | 10.1.1.174:6443  | The API server is in |
  |             |                  | charge of all        |
  |             |                  | operations on the    |
  |             |                  | cluster.             |
  +-------------+------------------+----------------------+

  No vulnerabilities were found

  1.13.1版本的master没有发现安全漏洞。对1.10.2版本进行扫描可发现安全漏洞。
  DevOps研习社:PaaS平台集成解决方案——F5实现K8S管理平面的高可用和安全_第4张图片

  经过F5 VS访问则可以屏蔽高风险CVE,告警仅针对与自签发证书。
 DevOps研习社:PaaS平台集成解决方案——F5实现K8S管理平面的高可用和安全_第5张图片

  3
  针对master节点发起SQL注入测试,经过F5 AWAF防护后,请求被拦截
  k8s@k8s-node1:~$ curl -k https://10.1.1.100:6443/api/v1/namespaces/default/services?limit=500' or 1=1 --'
  Request RejectedThe requested URL was rejected. Please consult with your administrator.

Your support ID is: 2542351585300712947

[Go Back]

 BIG-IP图形界面中可以看到相应的拦截日志:
 DevOps研习社:PaaS平台集成解决方案——F5实现K8S管理平面的高可用和安全_第6张图片
  4
  通过ab客户端模拟向api server发起DDoS攻击,通过F5 VS上开启的应用层DDoS防护,可以对攻击进行拦截。
  ab -n 1000 -c 10 https://10.1.1.100:6443/api/v1/namespaces/default/services?limit=500

  Concurrency Level:      10
  Time taken for tests:   30.531 seconds
  Complete requests:      1000
  Failed requests:        806
DevOps研习社:PaaS平台集成解决方案——F5实现K8S管理平面的高可用和安全_第7张图片

  总之,通过BIG-IP可以实现k8s集群高可用,同时可以从安全防护角度确保k8s的稳定持续交付。

转载于:https://my.oschina.net/u/4027671/blog/3068466

你可能感兴趣的:(DevOps研习社:PaaS平台集成解决方案——F5实现K8S管理平面的高可用和安全)