基于K8S搭建Flink集群，轻松上手玩集群

一、Linux 搭建 K8s集群

1、机器准备 ( ip根据以自身服务器ip为准 )

IP	主机名
192.168.3.54	k8s-node1
192.168.3.55	k8s-node2
192.168.3.56	k8s-master

2、关闭并禁用防火墙

systemctl stop firewalld.service && systemctl disable firewalld.service 

3、关闭selinux

# 临时关闭
setenforce 0
# 永久关闭
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

3、关闭swap

# 临时关闭
swapoff -a
# 永久关闭
sed -ri 's/.*swap.*/#&/' /etc/fstab 
# 查看swap交换状态
free

4、添加主机名与IP对应的关系

vi /etc/hosts
# 新增如下内容 (地址根据服务器实际情况填写)
192.168.3.56     k8s-master
192.168.3.54     k8s-node1
192.168.3.55     k8s-node2

5、修改主机名

# 查看主机名
hostname
# 临时生效
hostname k8s-master 
#重启后永久生效
hostnamectl set-hostname k8s-master 

6、将桥接的IPV4流量传递到iptables 的链

# $符后面为命令
$ cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
$ sysctl --system

7、安装docker

# 添加docker yum源
$ wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O/etc/yum.repos.d/docker-ce.repo
# 安装
$ yum -y install docker-ce
# # 设置开机启动并启动docker
$ systemctl enable docker.service && systemctl start docker.service 

# 新机器可能存在wget命令无法识别需先安装wget
$ yum install -y wget

8、替换docker镜像源

# 可百度获取镜像源地址
$ vi /etc/docker/daemon.json
{
  "registry-mirrors": ["https://t0gam4iy.mirror.aliyuncs.com"]
}
$ systemctl daemon-reload && systemctl restart docker.service 

9、修改docker 启动模式为systemd

$ vi /usr/lib/systemd/system/docker.service
#ExecStart=/usr/bin/dockerd 后面追加 --exec-opt native.cgroupdriver=systemd
ExecStart=/usr/bin/dockerd --exec-opt native.cgroupdriver=systemd
$ systemctl daemon-reload && systemctl restart docker.service 
# 必须重启服务才生效

10、添加阿里云yum软件源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[k8s]
name=k8s
enabled=1
gpgcheck=0
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
EOF

11、安装kubeadm，kubelet和kubectl 并设置开机自启

kubelet 
# 运行在 Cluster 所有节点上，负责启动 Pod 和容器。
kubeadm 
# 用于初始化 Cluster。
kubectl 
# 是 Kubernetes 命令行工具。通过 kubectl 可以部署和管理应用，查看各种资源，创建、删除和更新各种组件。
# 安装（默认安装最新版本）
$ yum install kubelet kubeadm kubectl -y
# 指定版本安装
yum install -y kubelet- kubectl- kubeadm-
​
# 此时，还不能启动kubelet，因为此时配置还不能，现在仅仅可以设置开机自启动
$ systemctl enable kubelet

12、部署Kubernetes （master节点）

$ kubeadm init --apiserver-advertise-address=192.168.3.56 --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.23.5 --service-cidr=10.1.0.0/16 --pod-network-cidr=10.244.0.0/16
# –image-repository string：    
# 这个用于指定从什么位置来拉取镜像（1.13版本才有的），默认值是k8s.gcr.io，我们将其指定为国内镜像地址：registry.aliyuncs.com/google_containers
# –kubernetes-version string：  指定kubenets版本号，默认值是stable-1，会导致从https://dl.k8s.io/release/stable-1.txt下载最新的版本号，我们可以将其指定为固定版本（v1.15.1）来跳过网络请求。
# –apiserver-advertise-address  指明用 Master 的哪个 interface 与 Cluster 的其他节点通信。如果 Master 有多个 interface，建议明确指定，如果不指定，kubeadm 会自动选择有默认网关的 interface。
# –pod-network-cidr  指定 Pod 网络的范围。Kubernetes 支持多种网络方案，而且不同网络方案对  –pod-network-cidr有自己的要求，这里设置为10.244.0.0/16 是因为我们将使用 flannel 网络方案，必须设置成这个 CIDR。

# 注意：
# 建议至少2 cpu ,2G，非硬性要求，1cpu，1G也可以搭建起集群。但是：1个cpu的话初始化master的时候会报 [WARNING NumCPU]: the number of available CPUs 1 is less than the required 2
# 部署插件或者pod时可能会报warning：FailedScheduling：Insufficient cpu, Insufficient memory
# 如果出现这种提示，说明你的虚拟机分配的CPU为1核，需要重新设置虚拟机master节点内核数。

13、利用服务启动成功生成的kubectl工具 （master 节点）

$ mkdir -p $HOME/.kube
$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config　　
# 执行结束可以使用 kubectl 命令

14、安装Pod网络插件（CNI） （master 节点）

# 安装之前先添加dns解析，否则可能会下载失败 或者借助工具
cat >> /etc/hosts << EOF
185.199.110.133 raw.githubusercontent.com
EOF
# 安装
$ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
​
# 查看是否部署成功 （Running 则为成功）
$ kubectl get pods -n kube-system
# 再次查看node是否转换为ready(成功)
$ kubectl get node

15、工作节点加入集群（node 节点）

$ kubeadm join 192.168.3.56:6443 --token 7rpjfp.n3vg39zrgstzr0rs --discovery-token-ca-cert-hash sha256:8c5aa1a4e82e70fed62b02e8d7bff54c801251b5ee40c7cec68a8c214dcc1234

16、master节点查看是否加入成功

$ kubectl get node
# 自此集群搭建结束

---

二、相关问题处理

1、重新初始化

docker rm -f `docker ps -a -q`
rm -rf /etc/kubernetes/*
rm -rf /var/lib/etcd/
kubeadm reset

2、移除node节点

# 先将节点设置为维护模式(k8s-node1是节点名称)
$ kubectl drain k8s-node1 --delete-local-data --force --ignore-daemonsets
# 新版本--delete-local-data 可能需替换 --delete-emptydir-data
$ kubectl delete node k8s-node1
# 查看节点
$ kubectl get nodes

3、添加节点

# 停止服务
$ systemctl stop kubelet
# 删除相关文件
$ rm -rf /etc/kubernetes/*
# 添加
$ kubeadm join 192.168.3.56:6443 --token 7rpjfp.n3vg39zrgstzr0rs --discovery-token-ca-cert-hash sha256:8c5aa1a4e82e70fed62b02e8d7bff54c801251b5ee40c7cec68a8c214dcc1234
# 查看节点
$ kubectl get nodes

4、如何获取 token 和 ca证书 sha256 编码 hash 值

# 获取token 
$ kubeadm token list
# 获取ca证书sha256编码hash值
$ openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

5、kubelet开机自启动失败处理

# 由于 K8s 必须保持全程关闭交换内存，之前我安装是只是使用 swapoff -a 命令暂时关闭 swap。而机器重启后，swap 还是会自动启用，从而导致 kubelet 无法启动。我们去查看一下交换内存是否关闭
$ free  或者 cat /etc/fstab
# 为什么前面执行的[ sed -ri 's/.*swap.*/#&/' /etc/fstab ] 不起作用?可能是正则表达式写的有问题
# 先临时关闭，重启服务
$ swapoff -a && systemctl restart kubelet.service
$ vi /etc/fstab
# 注释掉 [/dev/mapper/centos-swap swap swap defaults 0 0]即可
$ #/dev/mapper/centos-swap swap swap defaults 0 0
# tips: work节点一定要同步处理！！！

6、常用命令

# -o wide以yaml格式显示详细信息
$ kubectl get node -o wide
# 创建deployment
$ kubectl run net-test --image=alpine --replicas=2 sleep 10
# 查看deployments详情
$ kubectl describe deployment net-test
# 删除deployments
$ kubectl delete deployment net-test -n default
# 查看pod
$ kubectl get pod -o wide
# 查看pod的详情
$ kubectl describe pod net-test-5767cb94df-7lwtq
# 手动扩容缩容
## 通过执行扩容命令，对某个deployment直接进行扩容：
$ kubectl  scale deployment net-test --replicas=4
## 当要缩容，减少副本数量即可：
$ kubectl  scale deployment net-test --replicas=2

---

三、基于k8s集群部署flink服务

# 创建yaml文件管理目录
$ mkdir k8s && cd k8s && mkdir flink
# 创建flink相关容器yaml管理文件
$ touch jobmanager-deployment.yaml jobmanager-service.yaml taskmanager-deploymant.yaml

# 编辑 jobmanager-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
    name: flink-jobmanager
spec:
    selector:
        matchLabels:
            app: flink
    replicas: 1
    template:
        metadata:
            labels:
                app: flink
                component: jobmanager
        spec:
            containers:
            - name: jobmanager
              image: flink:1.9
              args:
              - jobmanager
              ports:
              - containerPort: 6123
                name: rpc
              - containerPort: 6124
                name: blob
              - containerPort: 6125
                name: query
              - containerPort: 8081
                name: ui
              env:
              - name: JOB_MANAGER_RPC_ADDRESS
                value: flink-jobmanager

# 编辑 taskmanager-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
    name: flink-taskmanager
spec:
    selector:
        matchLabels:
            app: flink
    replicas: 3
    template:
        metadata:
            labels:
                app: flink
                component: taskmanager
        spec:
            containers:
            - name: taskmanager
              image: flink:1.9
              args:
              - taskmanager
              ports:
              - containerPort: 6121
                name: data
              - containerPort: 6122
                name: rpc
              - containerPort: 6125
                name: query
              env:
              - name: JOB_MANAGER_RPC_ADDRESS
                value: flink-jobmanager

# 编辑jobmanager-service.yaml文件
apiVersion: v1
kind: Service
metadata:
    name: flink-jobmanager
spec:
    type: NodePort
    ports:
    - name: rpc
      port: 6123 
    - name: blob
      port: 6124
    - name: query
      port: 6125
    - name: ui
      port: 8081
      nodePort: 30001
    selector:
        app: flink
        component: jobmanager

# 部署flink集群
## 保证当前位置位于/root/k8s/flink
$ cd /root/k8s/flink
# 启动服务
$ kubectl create -f .
# 停止服务
$ kubectl delete -f .
# 查看服务
$ kubectl get pods -o wide
​

# linux测试 (具体ip以服务器为准)
$ curl http://192.168.3.56:30001
$ curl http://192.168.3.55:30001
$ curl http://192.168.3.54:30001
# UI界面访问
http://192.168.3.54:30001
http://192.168.3.55:30001
http://192.168.3.56:30001
​
# tips: 通过三台服务器均可访问，由此可见flink集群服务搭建完成

---

作者：LemonCoder 日期：2022-03-31 交流：2297547342

未经允许禁止转载 ！！！