阿里云公网部署openyurt集群添加本地边缘节点并支持metrics-server和prometheus

删除以前的集群

最好重启一下
主节点：

kubeadm reset
rm -rf /etc/cni/net.d
rm -rf $HOME/.kube/config
rm -rf /etc/kubernetes/
reboot

从节点：

yurtadm reset
rm -rf /etc/cni/net.d
rm -rf $HOME/.kube/config
reboot

开机后记得

swapoff -a

创建虚拟网卡

因为阿里云服务器内部网卡没有对应公网ip地址，需要创建虚拟网卡
每次重启后必须重新执行

ifconfig eth0:0 [公网ip] up

初始化主节点

安装kubeadm等

参考 https://blog.csdn.net/weixin_43168190/article/details/107223600

初始化

kubeadm init --apiserver-advertise-address=[公网ip] --image-repository=registry.aliyuncs.com/google_containers --pod-network-cidr=10.244.0.0/16 --kubernetes-version=v1.22.8 --service-cidr=10.96.0.0/12

如果出现问题看日志：

journalctl -u kubelet -xe

翻到文章最后面也会汇总一些问题。

初始化完成后

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

安装网络插件flannel

参考 https://blog.csdn.net/weixin_43168190/article/details/127774243?spm=1001.2014.3001.5501
用这篇文章里面的flannel文件和镜像。

根据官方文档调整

https://openyurt.io/zh/docs/installation/manually-setup/

kubectl label node center openyurt.io/is-edge-worker=false

vim /etc/kubernetes/manifests/kube-controller-manager.yaml

    - --controllers=-nodelifecycle,*,bootstrapsigner,tokencleaner

等待重启

cd openyurt
kubectl apply -f config/setup/yurt-tunnel-dns.yaml

kubectl -n kube-system get svc yurt-tunnel-dns

记住ClusterIP

vim /etc/kubernetes/manifests/kube-apiserver.yaml

:set paste # 设置为粘贴模式，然后插入在spec下面，缩进不要改

  dnsPolicy: "None" # 1. dnsPolicy修改为None
  dnsConfig:        # 2. 增加dnsConfig配置
    nameservers:
      - 10.99.148.17 # 使用yurt-tunnel-dns service的clusterIP替换
    searches:
      - kube-system.svc.cluster.local
      - svc.cluster.local
      - cluster.local
    options:
      - name: ndots
        value: "5"

    # 3. 下面还要改
    - --kubelet-preferred-address-types=Hostname,InternalIP,ExternalIP

kubectl annotate svc kube-dns -n kube-system openyurt.io/topologyKeys='openyurt.io/nodepool'

创建ds

vim coredns-ds.yaml 

apiVersion: apps/v1
kind: DaemonSet
metadata:
  labels:
    k8s-app: kube-dns
  name: coredns
  namespace: kube-system
spec:
  selector:
    matchLabels:
      k8s-app: kube-dns
  template:
    metadata:
      labels:
        k8s-app: kube-dns
    spec:
      containers:
      - args:
        - -conf
        - /etc/coredns/Corefile
        image: registry.aliyuncs.com/google_containers/coredns:1.9.3
        livenessProbe:
          failureThreshold: 5
          httpGet:
            path: /health
            port: 8080
            scheme: HTTP
          initialDelaySeconds: 60
          periodSeconds: 10
          successThreshold: 1
          timeoutSeconds: 5
        name: coredns
        ports:
        - containerPort: 53
          name: dns
          protocol: UDP
        - containerPort: 53
          name: dns-tcp
          protocol: TCP
        - containerPort: 9153
          name: metrics
          protocol: TCP
        readinessProbe:
          failureThreshold: 3
          httpGet:
            path: /ready
            port: 8181
            scheme: HTTP
          periodSeconds: 10
          successThreshold: 1
          timeoutSeconds: 1
        resources:
          limits:
            memory: 170Mi
          requests:
            cpu: 100m
            memory: 70Mi
        securityContext:
          allowPrivilegeEscalation: false
          capabilities:
            add:
            - NET_BIND_SERVICE
            drop:
            - all
          readOnlyRootFilesystem: true
        volumeMounts:
        - mountPath: /etc/coredns
          name: config-volume
          readOnly: true
      dnsPolicy: Default
      nodeSelector:
        kubernetes.io/os: linux
      priorityClassName: system-cluster-critical
      serviceAccount: coredns
      serviceAccountName: coredns
      tolerations:
      - operator: Exists
      - key: CriticalAddonsOnly
        operator: Exists
      - effect: NoSchedule
        key: node-role.kubernetes.io/master
      volumes:
      - configMap:
          defaultMode: 420
          items:
          - key: Corefile
            path: Corefile
          name: coredns
        name: config-volume

kubectl apply -f coredns-ds.yaml

kubectl delete deployment -n kube-system coredns

kubectl edit cm -n kube-system kube-proxy

注释掉 # kubeconfig: /var/lib/kube-proxy/kubeconfig.conf

部署OpenYurt的Control-Plane组件

克隆openyurt/yurt-app-manager仓库
cd进去

helm install yurt-app-manager -n kube-system ./charts/yurt-app-manager/

确认成功：

kubectl get pod -n kube-system | grep yurt-app-manager
kubectl get svc -n kube-system | grep yurt-app-manager

cat <

cat <

kubectl label node center apps.openyurt.io/desired-nodepool=master

部署openyurt/openyurt组件

在openyurt/openyurt中的组件包括：

yurt-controller-manager: 防止apiserver在断开连接时驱逐运行在边缘节点上的pod
yurt-tunnel-server: 在云端构建云边隧道
yurt-tunnel-agent: 在边缘侧构建云边隧道

如果你的云边节点不在同一网络平面内, 请手动修改values.yaml中tunnel相关参数:

cd openyurt/charts/openyurt/
vim values.yaml

yurtTunnelAgent.parameters.tunnelserverAddr="[公网ip]:31008": #用于tunnel agent连接tunnel server的公网IP与端口
yurtTunnelServer.parameters.certIps="[公网ip]": # tunnel server的公网IP

部署之前删除以前的东西：

rm -rf /var/lib/yurttunnel-server/pki

cd ../..
helm install openyurt -n kube-system ./charts/openyurt/

helm list -A 

部署kuboard方便可视化

https://kuboard.cn/install/v3/install-built-in.html#%E5%AE%89%E8%A3%85

sudo docker run -d \
  --restart=unless-stopped \
  --name=kuboard \
  -p 80:80/tcp \
  -p 10081:10081/tcp \
  -e KUBOARD_ENDPOINT="http://内网IP:80" \
  -e KUBOARD_AGENT_SERVER_TCP_PORT="10081" \
  -v /root/kuboard-data:/data \
  eipwork/kuboard:v3
  # 也可以使用镜像 swr.cn-east-2.myhuaweicloud.com/kuboard/kuboard:v3 ，可以更快地完成镜像下载。
  # 请不要使用 127.0.0.1 或者 localhost 作为内网 IP \
  # Kuboard 不需要和 K8S 在同一个网段，Kuboard Agent 甚至可以通过代理访问 Kuboard Server \

在浏览器输入 http://your-host-ip:80 即可访问 Kuboard v3.x 的界面，登录方式：
用户名： admin
密 码： Kuboard123
按要求复制.kube/config内容进去即可导入集群，然后请选择访问集群时所使用的身份，就进入集群了

主节点改造使其可以部署metrics-server和prometheus

主节点用ip是访问不到边缘节点的，因为边缘节点都是内网ip，主节点在外网无法访问，所以要利用openyurt的能力来访问。参考https://openyurt.io/zh/docs/user-manuals/monitoring/prometheus
如果metrics-server在主节点上，需要访问边缘节点的hostname，就需要dns解析，但是后面边缘节点加进来后，dns的解析可能会被负载均衡到自己的的coredns，而不是自己的coredns上，所以需要服务拓扑能力，参考https://openyurt.io/zh/docs/user-manuals/network/service-topology。而这个能力是YurtHub组件提供的，但是云端现在没有yurthub，只有在边缘端加入集群时才会自动部署yurthub。因此要手动部署yurthub。
详细的讨论可以看GitHub issue: https://github.com/openyurtio/openyurt/issues/1087

部署YurtHub

可以参考https://openyurt.io/zh/docs/installation/yurtadm-join#22-%E9%83%A8%E7%BD%B2edge%E5%B7%A5%E4%BD%9C%E6%A8%A1%E5%BC%8F%E7%9A%84yurthub
不过我们这里是要部署cloud模式的yurthub
从openyurt repo获取yurthub.yaml，执行如下修改后上传到边缘节点的/etc/kubernets/manifests目录。我粘贴在下面了。
获取 apiserver 的地址 (即ip:port) 和 bootstrap token ，用于替换模板文件 yurthub.yaml 中的对应值
获取 token 用命令：

kubeadm token list

最后要加上一行 - --working-mode=cloud

apiVersion: v1
kind: Pod
metadata:
  labels:
    k8s-app: yurt-hub
  name: yurt-hub
  namespace: kube-system
spec:
  nodeName: center
  volumes:
  - name: hub-dir
    hostPath:
      path: /var/lib/yurthub
      type: DirectoryOrCreate
  - name: kubernetes
    hostPath:
      path: /etc/kubernetes
      type: Directory
  - name: pem-dir
    hostPath:
      path: /var/lib/kubelet/pki
      type: Directory
  containers:
  - name: yurt-hub
    image: openyurt/yurthub:latest
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - name: hub-dir
      mountPath: /var/lib/yurthub
    - name: kubernetes
      mountPath: /etc/kubernetes
    - name: pem-dir
      mountPath: /var/lib/kubelet/pki
    command:
    - yurthub
    - --v=2
    - --server-addr=https://127.0.0.1:6443
    - --node-name=$(NODE_NAME)
    - --join-token=vbiai7.npup027fe0m7woei
    - --working-mode=cloud
    livenessProbe:
      httpGet:
        host: 127.0.0.1
        path: /v1/healthz
        port: 10267
      initialDelaySeconds: 300
      periodSeconds: 5
      failureThreshold: 3
    resources:
      requests:
        cpu: 150m
        memory: 150Mi
      limits:
        memory: 300Mi
    securityContext:
      capabilities:
        add: ["NET_ADMIN", "NET_RAW"]
    env:
    - name: NODE_NAME
      valueFrom:
        fieldRef:
          fieldPath: spec.nodeName
  hostNetwork: true
  priorityClassName: system-node-critical
  priority: 2000001000

然后复制到静态pod目录，k8s会自动创建pod

cp yurthub.yaml /etc/kubernetes/manifests/

在kuboard里可以看容器信息:
http://[公网ip]/kubernetes/openyurt/namespace/kube-system/pods/yurt-hub-center
可以看看日志有没有出问题，如果出现start proxying就说明启动成功了

然后要配置kubelet，让它通过yurthub访问api-server，主节点上就可以拥有服务拓扑能力了。

mkdir -p /var/lib/openyurt
cat << EOF > /var/lib/openyurt/kubelet.conf
apiVersion: v1
clusters:
- cluster:
    server: http://127.0.0.1:10261
  name: default-cluster
contexts:
- context:
    cluster: default-cluster
    namespace: default
    user: default-auth
  name: default-context
current-context: default-context
kind: Config
preferences: {}
EOF

修改kubelet服务，使其使用刚刚创建的配置
为了让 kubelet 使用新的 kubeconfig，我们编辑 kubelet 服务的 drop-in 文件(即 /etc/systemd/system/kubelet.service.d/10-kubeadm.conf 或者 /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf 在 CentOS 系统上))。

sed -i "s|KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=\/etc\/kubernetes\/bootstrap-kubelet.conf\ --kubeconfig=\/etc\/kubernetes\/kubelet.conf|KUBELET_KUBECONFIG_ARGS=--kubeconfig=\/var\/lib\/openyurt\/kubelet.conf|g" \
    /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

然后，我们重启 kubelet 服务。

systemctl daemon-reload && systemctl restart kubelet

为了激活kube-proxy和coredns的服务拓扑能力，重启这两个pod。（因为是daemonset部署的，删除pod之后kubelet会自动重建新的pod，相当于重启，可以在kuboard里面删除pod，或者用命令删除。）

部署metrics-server

使用kuboard自动部署

最后一步勾选副本数为1

刷新页面就可以看到节点监控信息：

但是现在只是主节点能看到，后面加上边缘节点是看不到的，需要修改yaml配置，在kuboard进入kube-system命名空间，进入metrics-server，修改yaml：

把参数中kubelet的地址中Hostname提到最前面：

这时会发现看不到监控信息了，查看日志可以看到它无法解析hostname，所以要配置dns。可以参考openyurt中搭建prometheus中如何配置dns的：https://openyurt.io/zh/docs/user-manuals/monitoring/prometheus#1%E4%BF%AE%E6%94%B9coredns%E9%85%8D%E7%BD%AE

1. 将 yurt-tunnel-nodes挂载至coreDNS中，patch命令相当于修改yaml，可以去看看coredns的yaml是不是被改了。官方文档给的patch的是deployment，记得我们是daemonset部署的，所以要改成daemonset。

   kubectl patch daemonset coredns -n kube-system  -p '{"spec": {"template": {"spec": {"volumes": [{"configMap":{"name":"yurt-tunnel-nodes"},"name": "edge"}]}}}}'
   kubectl patch daemonset coredns -n kube-system  -p '{"spec": { "template": { "spec": { "containers": [{"name":"coredns","volumeMounts": [{"mountPath": "/etc/edge", "name": "edge", "readOnly": true }]}]}}}}'
   

   可以看到确实修改了
   
2. 修改coredns的configmap
   这一步可以用他给的命令修改，也可以用kuboard修改，我这里用可视化界面：
   
   添加

       hosts /etc/edge/tunnel-nodes {    # add hosts plugin
           reload 300ms
           fallthrough
       }
   

   最后重启coredns，还是直接删除pod就行。

这下就会发现metrics-server不会报错了，可以解析hostname了，原理就是coredns里面添加了
yurt-tunnel-nodes configmap里面记录的ip，可以自己去看看这个configmap，相信可以理解原理。

prometheus后面再部署，现在可以先添加边缘节点了。

边缘节点加入

首先要安装好docker，不用花里胡哨的命令，用apt就行

apt install docker.io

然后要配置好docker的驱动为systemd

编译yurtadm

安装go环境

add-apt-repository ppa:longsleep/golang-backports

sudo apt-get install golang-1.16-go

在/home/用户名目录下打开，root用户就在/root下

vim .bashrc
# 添加
export GOROOT=/usr/lib/go-1.16/
export PATH=$PATH:$GOROOT/bin
# 编译
source .bashrc

重启之后需要重新执行，设置国内镜像

go env -w GO111MODULE=on
go env -w GOPROXY=https://goproxy.cn,direct

编译

git clone https://github.com/openyurtio/openyurt.git
cd openyurt
git checkout release-v1.1
make build WHAT="yurtadm" ARCH="amd64" REGION=cn
# arm64： make build WHAT="yurtadm" ARCH="arm64" REGION=cn

复制到bin目录下：(arm64记得改前面的目录）

cp _output/local/bin/linux/amd64/yurtadm /usr/local/bin/

一个节点编译好后，复制到其他节点需要修改权限：

cp yurtadm /usr/local/bin/
chmod 777 /usr/local/bin/yurtadm

join命令

apt install conntrack

不记得token在主节点用kubeadm token list

swapoff -a
yurtadm join [公网ip]:6443 --token=vbiai7.npup027fe0m7woei --node-type=edge --discovery-token-unsafe-skip-ca-verification --v=5

如果出现问题就看日志

journalctl -u kubelet -xe

还可以参考https://blog.csdn.net/weixin_43168190/article/details/127774243

重启节点后记得还需要关闭swap，然后重启kubelet

swapoff -a
systemctl restart kubelet

加入成功后记得看看能不能看每个pod的日志，在命令行随便看一个边缘节点：

kubectl get pods -n kube-system -o wide | grep dell2018

然后随便看一个pod的日志：

kubectl logs kube-flannel-ds-l8bxl -n kube-system

如果出现问题，翻到最后面

部署prometheus

首先注意兼容性：

我们使用0.10版本

git clone https://github.com/prometheus-operator/kube-prometheus.git
cd kube-prometheus
git checkout release-0.10

Prometheus的安装方式参考：https://github.com/prometheus-operator/kube-prometheus#quickstart

# Create the namespace and CRDs, and then wait for them to be available before creating the remaining resources
# Note that due to some CRD size we are using kubectl server-side apply feature which is generally available since kubernetes 1.22.
# If you are using previous kubernetes versions this feature may not be available and you would need to use kubectl create instead.
kubectl apply --server-side -f manifests/setup
kubectl wait \
	--for condition=Established \
	--all CustomResourceDefinition \
	--namespace=monitoring
kubectl apply -f manifests/

由于网络原因，会有两个拉取不下来镜像：

进入编辑，进入容器信息，修改镜像，我在dockerhub找到两个镜像，跟k8s官方是一样的，修改成这两个：

kubesphere/kube-state-metrics
v5cn/prometheus-adapter

修改后就能成功拉取了

然后把prometheus-k8s和grafana的ip改为nodePort，就能访问了。

某些问题解决

主节点初始化失败

error execution phase upload-config/kubelet: Error writing Crisocket information for the control-plane node: timed out waiting for the condition

看日志

journalctl -u kubelet -xe

我发现它去请求10261端口了，这是yurthub的端口，我上次修改了配置忘记还原了
参考这里的修改，还原配置文件就好了，如果以前没部署过openyurt那就跟我问题不一样，自己去搜一搜吧。
https://openyurt.io/zh/docs/installation/yurtadm-join#23-%E9%85%8D%E7%BD%AEkubelet
为了部署metrics-server后面还会再改回来。。。

无法使用kubectl logs命令

显示：

You must be logged in to the server (the server has asked for the client to provide credentials ( pods/log kube-flannel-ds-l8bxl))

很可能是上次的没删干净，看这个issue：https://github.com/openyurtio/openyurt/issues/984
解决方法：

rm -rf /var/lib/yurttunnel-server/pki

然后要重启yurt-tunnel-server和agent，我们是用helm部署的：

helm list -A

helm delete openyurt -n kube-system

进入openyurt仓库目录重新部署：

helm install openyurt -n kube-system ./charts/openyurt/

过一会儿kubectl logs或者exec命令就能用了。

通用问题解决方法

一个是看kubelet日志

journalctl -u kubelet -xe

一个是看docker的日志，用

docker ps -a

可以看到全部的docker容器，看有没有状态是Exit的，然后看这个容器的日志，在根据日志里的东西去搜索。

docker logs 容器id