使用 K8spacket 和 Grafana 对 K8s 的 TCP 数据包流量进行可视化

前言
如何知道 K8S 集群内 Pod 之间建立了哪些 TCP 连接？集群之间存在哪些调用关系？

使用 k8spacket 和Grafana，你可以可视化集群中的 TCP 流量。了解工作负载如何相互通信，以及建立了多少连接，交换了多少字节，这些连接处于活动状态的时间。

介绍
k8spacket是用 Golang 编写的工具，它使用gopacket第三方库来嗅探工作负载（传入和传出）上的 TCP 数据包。它在运行的容器网络接口上创建 TCP 侦听器。当 Kubernetes 创建一个新容器时，CNI 插件负责提供与其他容器进行通信的可能性。最常见的方法是用linux namespace隔离网络并用veth pair连接隔离的 namespace 与网桥。除了bridge 类型，CNI 插件还可以使用其他类型（vlan, ipvlan,macvlan)，但都为容器创建了一个网络接口，它是k8spacket嗅探器的主要句柄。

k8spacket有助于了解 Kubernetes 集群中的 TCP 数据包流量：

显示集群中工作负载之间的流量
通知流量在集群外路由到哪里
显示有关连接关闭套接字的信息
显示工作负载发送/接收的字节数
计算建立连接的时间
显示整个集群中工作负载之间的网络连接拓扑
k8spacket是一个 Kubernetes API 客户端，可以将嗅探到的工作负载解析为可视化上可见的集群资源名称（Pods和Services）。它作为DaemonSet Pod启动，使用 hostNetwork，并监听节点上的网络接口。

k8spacket 收集 TCP 流、处理数据，使用 Node Graph API Grafana 数据源插件（详情请查看 Node Graph API 插件），通过 API 展示在Grafana面板。

要安装k8spacket，需要同时安装 Grafana。下面将在Kind安装的 k8s 集群上做演示。

安装 k8spacket

#使用 Helm 安装：
[root@CentOS8 ~]# helm repo add k8spacket https://k8spacket.github.io/k8spacket-helm-chart
"k8spacket" has been added to your repositories
[root@CentOS8 ~]# helm install k8spacket --namespace k8spacket k8spacket/k8spacket --create-namespace
NAME: k8spacket
LAST DEPLOYED: Thu Aug 18 08:37:10 2022
NAMESPACE: k8spacket
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
1. Get the application URL by running these commands:
  export NODE_PORT=$(kubectl get --namespace k8spacket -o jsonpath="{.spec.ports[0].nodePort}" services k8spacket)
  export NODE_IP=$(kubectl get nodes --namespace k8spacket -o jsonpath="{.items[0].status.addresses[0].address}")
  echo http://$NODE_IP:$NODE_PORT

  
#默认安装会使用下面的命令获取所有需要监听的网络接口：

ip address | grep @ | sed -E 's/.* (\w+)@.*/\1/' | tr '\n' ',' | sed 's/.$//'

#其中可能包含一些状态为Down的接口，此时启动k8spacket会报错：

2022/08/15 00:17:34 error opening pcap handle: tunl0: That device is not up

#所以需要自定义修改values.yaml中的参数。将charts包拉取到本地，解压之后再修改：
  
[root@CentOS8 k8spacket]# helm pull k8spacket/k8spacket
[root@CentOS8 k8spacket]# ls
k8spacket-0.1.0.tgz
[root@CentOS8 k8spacket]# tar -zxf k8spacket-0.1.0.tgz
[root@CentOS8 k8spacket]# cd k8spacket
[root@CentOS8 k8spacket]# ls
Chart.yaml  docs  README.md  templates  values.yaml


#修改 values.yaml 中的内容，过滤掉tunl0

k8sPacket:
  metrics:
    ## Hide source port when 'true' (set to string value 'dynamic' instead of decimal real source port) for Prometheus metrics cardinality reasons
    hideSourcePort: true
    reverseLookup:
      ## Reverse lookup db file based on GeoLite2 Free Geolocation Data
      ## See: https://dev.maxmind.com/geoip/geolite2-free-geolocation-data?lang=en
      geoipDBPath: "/home/k8spacket/GeoLite2-City.mmdb"
      ## Whois result match regexp
      whoisRegexp: "(?:OrgName:|org-name:)\\s*(.*)"
  tcp:
    listener:
      interfaces:
        ## Command to achieve containers network interfaces
        command: "ip address | grep @ |grep -v tun10| sed -E 's/.* (\\w+)@.*/\\1/' | tr '\\n' ',' | sed 's/.$//'"
        ## How often refresh the list of network interfaces to listen
        refreshPeriod: "10s"
    assembler:
      ## See: https://pkg.go.dev/github.com/google/gopacket/tcpassembly#AssemblerOptions
      maxPagesPerConnection: 50
      maxPagesTotal: 50
      ## Every (periodDuration) seconds, flush connections that haven't seen activity in the past (closeOlderThanDuration) seconds.
      flushing:
        periodDuration: "10s"
        closeOlderThanDuration: "20s"

        
#refreshPeriod参数表示多久刷新一次要监听的网络接口列表，增加新的网络接口监听，移除旧网络接口监听。
#每 periodDuration秒，刷新在过去 closeOlderThanDuration秒内没有看到活动的连接。
#安装成功，包含以下Daemonset Pods 和 Service：

[root@CentOS8 k8spacket]# kubectl get pod -n k8spacket -o wide
NAME              READY   STATUS    RESTARTS   AGE    IP              NODE      NOMINATED NODE   READINESS GATES
k8spacket-428bk   1/1     Running   0          6m8s   10.110.82.178   centos8              

[root@CentOS8 k8spacket]# kubectl get svc -n k8spacket -o wide
NAME        TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)    AGE   SELECTOR
k8spacket   ClusterIP   10.106.125.144           8080/TCP   19m   app.kubernetes.io/instance=k8spacket,app.kubernetes.io/name=k8spacket



#k8spacket Pod 提供了 /metrics 接口暴露指标：

[root@CentOS8 k8spacket]# curl 10.106.125.144:8080/metrics
# HELP go_build_info Build information about the main Go module.
# TYPE go_build_info gauge
go_build_info{checksum="",path="github.com/k8spacket",version="(devel)"} 1
# HELP go_gc_duration_seconds A summary of the pause duration of garbage collection cycles.
# TYPE go_gc_duration_seconds summary
go_gc_duration_seconds{quantile="0"} 2.6341e-05
go_gc_duration_seconds{quantile="0.25"} 0.000109225
go_gc_duration_seconds{quantile="0.5"} 0.000222992
go_gc_duration_seconds{quantile="0.75"} 0.000482412
go_gc_duration_seconds{quantile="1"} 0.00082685
go_gc_duration_seconds_sum 0.001784635
go_gc_duration_seconds_count 6
# HELP go_goroutines Number of goroutines that currently exist.
# TYPE go_goroutines gauge
go_goroutines 59
# HELP go_info Information about the Go environment.
# TYPE go_info gauge
go_info{version="go1.17.13"} 1




#安装 dashboards
#下载k8spacket项目，并将dashboards目录下的面板 configmaps 创建到 K8S 中：

wget https://github.com/k8spacket/k8spacket/archive/refs/heads/master.zip
unzip master.zip
cd k8spacket-master
kubectl  apply --recursive -f ./dashboards
#创建了 k8spacket-logs-dashboard、k8spacket-metrics-dashboard、k8spacket-node-graph-dashboard三个面板。

#其中的metrics面板公开了 Prometheus 指标，这里不做演示。只关心node-graph面板。

#安装 grafana
#使用 Helm 安装 grafana，helm-charts 包地址如下：

https://github.com/grafana/helm-charts

#同样的拉取到本地：

helm repo add grafana https://grafana.github.io/helm-charts
helm fetch grafana/grafana
tar -zxf grafana-6.32.13.tgz
cd grafana/
#charts包版本为：6.32.13
#grafana版本为：9.0.5

#修改values.yaml，将 Node Graph API 插件和数据源，以及 node-graph dashboard configmaps 添加到 Grafana。同时开启数据持久化。例如：

persistence:
  type: pvc
  enabled: true
  storageClassName: openebs-hostpath #默认存储

env:
  GF_INSTALL_PLUGINS: hamedkarbasi93-nodegraphapi-datasource

dashboardProviders:
  dashboardproviders.yaml:
    apiVersion: 1
    providers:
    - name: 'default'
      orgId: 1
      folder: ''
      type: file
      disableDeletion: false
      editable: true
      options:
        path: /var/lib/grafana/dashboards/default

dashboardsConfigMaps:
  default: k8spacket-node-graph-dashboard

datasources:
  nodegraphapi-plugin-datasource.yaml:
      apiVersion: 1
      datasources:
      - name: "Node Graph API"
        jsonData:
          url: "http://k8spacket.k8spacket.svc.cluster.local:8080"
        access: "proxy"
        basicAuth: false
        isDefault: false
        readOnly: false
        type: "hamedkarbasi93-nodegraphapi-datasource"
        typeLogoUrl: "public/plugins/hamedkarbasi93-nodegraphapi-datasource/img/logo.svg"
        typeName: "node-graph-plugin"
        orgId: 1
        version: 1
#在values.yaml目录下执行创建命令：

helm install grafana -f values.yaml  ./

[root@CentOS8 grafana]# helm install grafana -f values.yaml  ./
NAME: grafana
LAST DEPLOYED: Thu Aug 18 09:51:15 2022
NAMESPACE: default
STATUS: deployed
REVISION: 1
NOTES:
1. Get your 'admin' user password by running:

   kubectl get secret --namespace default grafana -o jsonpath="{.data.admin-password}" | base64 --decode ; echo

2. The Grafana server can be accessed via port 80 on the following DNS name from within your cluster:

   grafana.default.svc.cluster.local

   Get the Grafana URL to visit by running these commands in the same shell:

     export POD_NAME=$(kubectl get pods --namespace default -l "app.kubernetes.io/name=grafana,app.kubernetes.io/instance=grafana" -o jsonpath="{.items[0].metadata.name}")
     kubectl --namespace default port-forward $POD_NAME 3000

3. Login with the password from step 1 and the username: admin




#获取到admin账号的密码：

kubectl get secret --namespace default grafana -o jsonpath="{.data.admin-password}" | base64 --decode ; echo
#开启临时端口转发，使得集群外可以访问grafana实例：

kubectl --namespace default port-forward service/grafana 3000:80  --address 0.0.0.0

通过http://{Kind宿主机IP}:3000打开grafana面板，并使用上面获取到的密码登录，可以看到Node Graph API插件成功安装

20220818110714.png

在node graph面板可以看到集群中网络连接拓扑

20220818110843.png

#使用
#统计类型
#connection：帮助了解工作负载之间以及与外部客户端之间建立了多少连接。它会告诉你哪些套接字保持打开状态并可能导致问题。
#bytes：显示工作负载发送或接收的字节数。
#duration：计算连接的生命周期。
#过滤器
#by namespace：选择一个或多个 k8s 命名空间
#by names included：选择工作负载名称进行可视化
#by names excluded：从可视化中排除工作负载名称

20220818110942.png

20220818111034.png

20220818111118.png

摘自微信公众号[奇妙的Linux世界]