k8s部署nacos

一、下载官方提供的nacos-k8s包

git clone https://github.com/nacos-group/nacos-k8s.git

如果下载不下来可以使用gitee下,文件内容如下所示:
naocs-k8s

二、部署NFS

Nacos在K8S拥有自动扩容缩容和数据持久特性,请注意如果需要使用这部分功能请使用PVC持久卷,Nacos的自动扩容缩容需要依赖持久卷,以及数据持久化也是一样,本例中使用的是NFS来使用PVC.

2.1 安装nfs服务

master,node01,node02 安装 nfs-utils

yum -y install nfs-utils rpcbind

master,node01,node02添加nfs exports配置,为了解决后续的nfs报错异常

在三个节点创建以下三个目录:

mkdir -p /data/nfs-share
mkdir -p /data/mysql

chmod 777 /data/nfs-share
chmod 777 /data/mysql

vi /etc/exports

三个节点增加以下的配置

/data/mysql*(insecure,fsid=0,rw,async,no_root_squash)
/data/nfs-share *(rw,fsid=0,async,no_root_squash)

启动并设置开机启动nfs:

systemctl enable nfs
systemctl enable rpcbind

systemctl start nfs
systemctl start rpcbind

2.2 创建角色

K8S命名空间不是default,请在部署RBAC之前执行以下脚本:

# Set the subject of the RBAC objects to the current namespace where the provisioner is being deployed
NS=$(kubectl config get-contexts|grep -e "^\*" |awk '{print $5}')
NAMESPACE=${NS:-default}
sed -i'' "s/namespace:.*/namespace: $NAMESPACE/g" ./deploy/nfs/rbac.yaml

使用默认民命空间default,使用下面命令创建创建

kubectl create -f deploy/nfs/rbac.yaml

2.3 创建 ServiceAccount 和部署 NFS-Client Provisioner

kubectl create -f deploy/nfs/deployment.yaml

2.4 创建 NFS StorageClass

kubectl create -f deploy/nfs/class.yaml

2.5 验证NFS部署成功

kubectl get pod -l app=nfs-client-provisioner
部署成功

如果发现pods状态一直如下,可以使用如下方式查看错误信息:

kubectl describe pods nfs-client-provisioner-9647df776-szzx8

创建过程中可能docker镜像下载很慢,请耐心等待.

2.6 如果镜像无法下载怎么办

通过describe命令发现image一直在pulling:
pilling

可以更换deployment.yaml中的镜像地址:

registry.cn-hangzhou.aliyuncs.com/open-ali/nfs-client-provisioner:latest

三、部署mysql

这里建议使用外部数据,如果要使用yaml安装,则使用如下方式。

修改mysql-nfs.yaml文件

apiVersion: v1
kind: ReplicationController
metadata:
  name: mysql
  labels:
    name: mysql
spec:
  replicas: 1
  selector:
    name: mysql
  template:
    metadata:
      labels:
        name: mysql
    spec:
      containers:
      - name: mysql
        image: nacos/nacos-mysql:5.7
        ports:
        - containerPort: 3306
        volumeMounts:
        - name: mysql-data
          mountPath: /var/lib/mysql
        env:
        - name: MYSQL_ROOT_PASSWORD
          value: "root"
        - name: MYSQL_DATABASE
          value: "nacos_devtest"
        - name: MYSQL_USER
          value: "nacos"
        - name: MYSQL_PASSWORD
          value: "nacos"
      volumes:
      - name: mysql-data
        nfs:
          server: 192.168.184.139
          path: /data/mysql
---
apiVersion: v1
kind: Service
metadata:
  name: mysql
  labels:
    name: mysql
spec:
  ports:
  - port: 3306
    targetPort: 3306
  selector:
    name: mysql

查看状态:

[root@k8s-master deploy]# kubectl get pods -o wide
NAME                                      READY   STATUS    RESTARTS   AGE     IP           NODE        NOMINATED NODE   READINESS GATES
mysql-9lbkp                               1/1     Running   0          3m30s   10.244.4.9   k8s-node2              
nfs-client-provisioner-557df77947-npjdt   1/1     Running   0          33m     10.244.4.2   k8s-node2              

四、部署nacos

kubectl create -f nacos/nacos-pvc-nfs.yaml

如果出现如下问题:

pending

使用以下方式修改,在kube-apiserver.yaml中增加以下配置,kubeadmin安装的k8s会自动重启:

vi /etc/kubernetes/manifests/kube-apiserver.yaml

增加以下内容

- --feature-gates=RemoveSelfLink=false

位置如下图:
apiserver配置

修改后查看pod
问题

删除nacos和pvc,重新创建

kubectl delete -f deploy/nacos/nacos-pvc-nfs.yaml
kubectl delete pvc datadir-nacos-0 logdir-nacos-0 plugindir-nacos-0

重点问题

1、使用nacos-pvc-nfs.yaml方式发现仍然无法启动成功,无法挂载到指定路径,导致服务整个无法启动,这里记录一下,暂时还没发现什么问题导致的。

所以本文先使用nacos-quick-start.yaml方式,直接启动:

kubectl create -f nacos/nacos-quick-start.yaml

2、发现有一个节点是pending,是因为,k8s默认主节点master不部署服务,这里面改下配置就可以了:

kubectl taint nodes --all node-role.kubernetes.io/master-

记得使用NodePort或者Ingress的方式暴露外网访问。

3、节点启动后发现页面访问失败,使用如下方式解决
确定pod是否成功启动,使用logs命令查看。基本都是因为服务没有起来导致无法访问。而nacos则基本是因为数据库配置导致的。注意看nacos的yaml数据库配置。

如果启动成功,还不能解决,尝试以下方案
修改Docker启动参数,在[Service] 区域末尾加上参数:

vi /usr/lib/systemd/system/docker.service

# 添加以下配置
ExecStartPost=/sbin/iptables -I FORWARD -s 0.0.0.0/0 -j ACCEPT

systemctl daemon-reload
systemctl restart docker

你可能感兴趣的:(k8s部署nacos)