KubeEdge详解

一、KubeEdge介绍

KubeEdge 是一个开源的系统,可将本机容器化应用编排和管理扩展到边缘端设备。 它构建在Kubernetes之上,为网络和应用程序提供核心基础架构支持,并在云端和边缘端部署应用,同步元数据。100%兼容K8S API,可以使用K8S API原语管理边缘节点和设备。KubeEdge 还支持 MQTT 协议,允许开发人员编写客户逻辑,并在边缘端启用设备通信的资源约束。

1、优势

kubernetes + 容器的组合大大提高了用户创建部署应用的效率。kubernetes 可以把 n 台主机整合成一个集群,用户在 master 节点上通过编写一个 yaml 或者 json 格式的配置文件,也可以通过命令等请求 Kubernetes API 创建应用,就直接将应用部署到集群上的各个节点上,该配置文件中还包含了用户想要应用程序保持的状态,从而生成用户想要的环境。
Kubernetes 作为容器编排的标准,自然会想把它应用到边缘计算上,即通过 kubernetes 在边缘侧部署应用,但是 kubernetes 在边缘侧部署应用时遇到了一些问题,例如:

  • 边缘侧设备没有足够的资源运行一个完整的 Kubelet
  • 一些边缘侧设备是 ARM 架构的,然而大部分的 Kubernetes 发行版并不支持 ARM 架构
  • 边缘侧网络很不稳定,甚至可能完全不通,而 kubernetes 需要实时通信,无法做到离线自治
  • 很多边缘设备都不支持TCP/IP 协议
  • Kubernetes 客户端(集群中的各个Node节点)是通过 list-watch 去监听 Master 节点的 apiserver 中资源的增删改查,list-watch 中的 watch 是调用资源的 watch API 监听资源变更事件,基于 HTTP 长连接实现,而维护一个 TCP 长连接开销较大。从而造成可扩展性受限。

为了解决包含但不限于以上 Kubernetes 在物联网边缘场景下的问题,从而产生了KubeEdge 。对应以上问题:

  • KubeEdge 保留了 Kubernetes 的管理面,重新开发了节点 agent,大幅度优化让边缘组件资源占用更低很多
  • KubeEdge 可以完美支持 ARM 架构和 x86 架构
  • KubeEdge 有离线自治功能,可以看 MetaManager 组件的介绍
  • KubeEdge 丰富了应用和协议支持,目前已经支持和计划支持的有:MQTT、BlueTooth、OPC UA、Modbus等。
  • KubeEdge 通过底层优化的多路复用消息通道优化了云边的通信的性能,可以看 EdgeHub 组件的介绍

2、介绍

2.1 应用场景、特点等



上图是 华为云IEF 的应用场景,Kubeedge 就是源于这个产品,它基于 KubeEdge 和 Kubernetes 生态构建,将云原生的技术应用到边缘计算。IEF 通过纳管边缘节点,将云端AI应用、函数计算等能力下发到边缘节点(EdgeNode),将公有云能力延伸到靠近设备的一端,使得边缘节点拥有云端相同能力,能够实时处理终端设备计算需求。

KubeConShanghai2018——KubeEdge开源首秀
KubeEdge 向左,K3S 向右
KubeEdge实现原理

2.2 架构


KubeEdge 由以下组件构成:

2.1.1 云边通信

  • CloudHub: CloudHub 是一个 Web Socket 服务端,用于大量的 edge 端基于 websocket 或者 quic 协议连接上来。负责监听云端的变化, 缓存并发送消息到 EdgeHub
  • EdgeHub: 是一个 Web Socket 客户端,负责将接收到的信息转发到各edge端的模块处理;同时将来自个edge端模块的消息通过隧道发送到cloud端。提供可靠和高效的云边信息同步

如何配置通信协议

2.1.2 云上部分

  • EdgeController: 用于控制 Kubernetes API Server 与边缘的节点、应用和配置的状态同步。
  • DeviceController: DeviceController 是一个扩展的 Kubernetes 控制器,管理边缘设备,确保设备信息、设备状态的云边同步。

2.1.3 边缘部分

  • MetaManager: MetaManager 模块后端对应一个本地的数据库(sqlLite),所有其他模块需要与 cloud 端通信的内容都会被保存到本地 DB 种一份,当需要查询数据时,如果本地 DB 中存在该数据,就会从本地获取,这样就避免了与 cloud 端之间频繁的网络交互;同时,在网络中断的情况下,本地的缓存的数据也能够保障其稳定运行(比如你的智能汽车进入到没有无线信号的隧道中),在通信恢复之后,重新同步数据。是边缘节点自治能力的关键
  • Edged: 是运行在边缘节点的代理,用于管理容器化的应用程序。算是个重新开发的轻量化 Kubelet,实现 Pod,Volume,Node 等 Kubernetes 资源对象的生命周期管理
  • EventBus: EventBus 是一个与 MQTT 服务器(mosquitto)交互的 MQTT 客户端,为其他组件提供订阅和发布功能。
  • ServiceBus: ServiceBus是一个运行在边缘的HTTP客户端,接受来自云上服务的请求,与运行在边缘端的HTTP服务器交互,提供了云上服务通过HTTP协议访问边缘端HTTP服务器的能力。
  • DeviceTwin: DeviceTwin 负责存储设备状态并将设备状态同步到云,它还为应用程序提供查询接口。

二、kubEedge部署

1、先决条件

1.1 修改节点名称

hostnamectl set-hostname master

1.2 安装 docker

#关闭防火墙和selinux
systemctl stop firewalld && systemctl disable firewalld
setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
#关闭swap
swapoff -a
yes | cp /etc/fstab /etc/fstab_bak
cat /etc/fstab_bak |grep -v swap > /etc/fstab

yum install yum-utils device-mapper-persistent-data lvm2

### Add Docker repository.
yum-config-manager \
  --add-repo \
  http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

## Install Docker CE.
yum update && yum install docker-ce-18.06.2.ce

## Create /etc/docker directory.
mkdir /etc/docker

# Setup daemon.
cat > /etc/docker/daemon.json <

1.3 安装 kubeadm/kubectl

cat < /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

yum install -y kubelet-1.15.0 kubeadm-1.15.0 kubectl-1.15.0

systemctl enable kubelet && systemctl start kubelet

1.4 初始化 Kubernetes

kubeadm init \
    --image-repository registry.aliyuncs.com/google_containers \
    --kubernetes-version $(kubeadm version -o short) \
    --pod-network-cidr=10.244.0.0/16

初始化命令说明

集群初始化如果遇到问题,可以使用kubeadm reset命令进行清理然后重新执行初始化。

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

安装Pod网络插件(CNI)

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

在完成 Kubernetes master 的初始化后, 我们需要暴露 Kubernetes apiserver 的 http 端口8080用于与 cloudcore/kubectl 交互。请按照以下步骤在 Kubernetes apiserver 中启用 http 端口。这样可以在边缘节点执行 kubectl get nodes -s 192.169.0.10:8080等命令,就像在 master 节点上一样。

vi /etc/kubernetes/manifests/kube-apiserver.yaml
# Add the following flags in spec: containers: -command section
- --insecure-port=8080
- --insecure-bind-address=0.0.0.0

1.5 克隆KubeEdge

git clone https://github.com/kubeedge/kubeedge.git $GOPATH/src/github.com/kubeedge/kubeedge
cd $GOPATH/src/github.com/kubeedge/kubeedge
git checkout -b v1.0.0 v1.0.0

1.6 配置MQTT模式

KubeEdge 的边缘部分在 deviceTwin 和设备之间使用 MQTT 进行通信。KubeEdge 支持3个 MQTT 模式:

  1. internalMqttMode: 启用内部 mqtt 代理。
  2. bothMqttMode: 同时启用内部和外部代理。
  3. externalMqttMode: 仅启用外部代理。

可以使用 kubeedge/edge/conf/edge.yaml 中的 mode 字段去配置期望的模式。

使用 KubeEdge 的 mqtt 内部或外部模式,您都需要确保在边缘节点上安装 mosquitto 或 emqx edge 作为 MQTT Broker。

1.7 生成证书

KubeEdge 在云和边缘之间基于证书进行身份验证/授权。证书可以使用 openssl 生成。请按照以下步骤生成证书。

$GOPATH/src/github.com/kubeedge/kubeedge/build/tools/certgen.sh genCertAndKey edge

证书和密钥会分别自动生成在/etc/kubeedge/ca/etc/kubeedge/certs 目录下。

2、运行KubeEdge

2.1 运行Cloud

2.1.1 以二进制文件方式运行

  • 构建 Cloud
    cd $GOPATH/src/github.com/kubeedge/kubeedge/cloud
    make # or `make cloudcore`
    
  • 修改 $GOPATH/src/github.com/kubeedge/kubeedge/cloud/conf/controller.yaml 配置文件,将 cloudhub.cacloudhub.certcloudhub.key修改为生成的证书路径
     
  • 移除$GOPATH/src/github.com/kubeedge/kubeedge/cloud/conf/modules.yaml中的模块 devicecontroller,以免产生不必要的日志
  • 创建 device model 和 device CRDs(可以不管)
    cd $GOPATH/src/github.com/kubeedge/kubeedge/build/crds/devices
    kubectl create -f devices_v1alpha1_devicemodel.yaml
    kubectl create -f devices_v1alpha1_device.yaml
    
  • 运行二进制文件
    cd $GOPATH/src/github.com/kubeedge/kubeedge/cloud
    # run edge controller
    # `conf/` should be in the same directory as the cloned KubeEdge repository
    # verify the configurations before running cloud(cloudcore)
    ./edgecontroller
    

2.1.2 以 k8s deployment 方式运行

2.2 部署 Edge node

我们提供了一个示例 node.json 来在 Kubernetes 中添加一个节点。
请确保在 Kubernetes 中添加了边缘节点 edge-node。运行以下步骤以添加边缘节点 edge-node。

  • 编辑 $GOPATH/src/github.com/kubeedge/kubeedge/build/node.json 文件,将 metadata.name 修改为edge node name
  • 部署node
    kubectl apply -f $GOPATH/src/github.com/kubeedge/kubeedge/build/node.json
    

2.3 运行Edge

2.3.1 以二进制文件方式运行
  • 构建 Edge

    cd $GOPATH/src/github.com/kubeedge/kubeedge/edge
    make # or `make edgecore`
    

    KubeEdge 可以跨平台编译,运行在基于ARM的处理器上。
    请点击 Cross Compilation 获得相关说明。

  • 修改$GOPATH/src/github.com/kubeedge/kubeedge/edge/conf/edge.yaml配置文件

    • edgehub.websocket.certfileedgehub.websocket.keyfile 替换为自己的证书路径
    • edgehub.websocket.url 中的 0.0.0.0 修改为 master node 的IP
    • 用 edge node name 替换 yaml文件中的 fb4eb70-2783-42b8-b3f-63e2fd6d242e
  • 运行二进制文件

    # run mosquitto
    mosquitto -d -p 1883
    # or run emqx edge
    # emqx start
    
    # run edgecore
    # `conf/` should be in the same directory as the cloned KubeEdge repository
    # verify the configurations before running edge(edgecore)
    ./edge_core
    # or
    nohup ./edgecore > edgecore.log 2>&1 &
    

    请使用具有root权限的用户运行 edge。

2.3.2 以容器方式运行
  • 拉出 Edgecoredocker 镜像(本文使用的镜像是从release-1.0创建的)。

    docker pull kubeedge/edgecore:v1.0.0
    docker tag kubeedge/edgecore:v1.0.0 kubeedge/edgecore:latest
    
  • 使用容器部署 kubeedge 的边缘节点:

    • cloudhub0.0.0.0替换为运行云组件的 ip
    • edgename为创建的节点名称
    • containername为创建的容器名
    cd $GOPATH/src/github.com/kubeedge/kubeedge/build/edge
    #检查容器运行环境
    ./run_daemon.sh prepare
    
    ./run_daemon.sh only_run_edge mqtt=0.0.0.0:1883 \
    cloudhub=192.169.0.10:10000 \
    edgename=edge-node3 \
    image="kubeedge/edgecore:latest" \
    containername=edge-node3
    
2.3.3 以 k8s deployment 方式运行

2.4 检查状态

在 Cloud 和 Edge 被启动之后,通过如下的命令去检查边缘节点的状态。

kubectl get nodes

请确保您创建的边缘节点状态是 ready

三、部署应用

像使用普通k8s一样部署你的应用到edge节点
示例:

kubectl apply -f $GOPATH/src/github.com/kubeedge/kubeedge/build/deployment.yaml

提示: 目前对于边缘端,必须在 Pod 配置中使用 hostPort,不然 Pod 会一直处于 ContainerCreating 状态。 hostPort 必须等于 containerPort 而且不能为 0。

然后可以使用下面的命令检查应用程序是否正常运行。

kubectl get pods

你可能感兴趣的:(KubeEdge详解)