实战 Kubernetes 中部署 Nacos 集群
公众号关注 「奇妙的 Linux 世界」
设为「星标」，每天带你玩转 Linux ！
一、什么是 Nacos
Nacos 是阿里开源的服务注册中心与配置中心组件，能够帮助开发人员快速实现动态服务发现、服务配置、服务元数据及流量管理。同时能够与 SpringCloud、Kubernetes、Dubbo 等开源生态无缝集成。
Nacos 支持如下核心特性：
服务发现： 支持 DNS 与 RPC 服务发现，也提供原生 SDK 、OpenAPI 等多种服务注册方式和 DNS、HTTP 与 API 等多种服务发现方式。
服务健康监测： Nacos 提供对服务的实时的健康检查，阻止向不健康的主机或服务实例发送请求。
动态配置服务： Nacos 提供配置统一管理功能，能够帮助我们将配置以中心化、外部化和动态化的方式管理所有环境的应用配置和服务配置。
动态 DNS 服务： Nacos 支持动态 DNS 服务权重路由，能够让我们很容易地实现中间层负载均衡、更灵活的路由策略、流量控制以及数据中心内网的简单 DNS 解析服务。
服务及其元数据管理： Nacos 支持从微服务平台建设的视角管理数据中心的所有服务及元数据，包括管理服务的描述、生命周期、服务的静态依赖分析、服务的健康状态、服务的流量管理、路由及安全策略、服务的 SLA 以及最首要的 metrics 统计数据。
二、提前部署 Mysql
Nacos 需要提前部署 Mysql，目前支持 5.7 及 8.0 版本。关于如何部署 Mysql 可以参考之前本人写的一篇文章 Kubernetes 部署 Mysql 数据库。
三、导入 SQL 相关数据
等数据库创建完成后，还需要导入 SQL 文件来创建它的表结构和一些基础数据。操作如下，我们进入 Mysql 客户端，执行 source 命令导入 SQL 文件。
$ mysql -uroot -p123456
mysql> source /data/nacos.sql
SQL 地址：Nacos 数据 Sql 文件地址
你也可以通过 Navicat 等可视化工具进行快捷导入。
四、部署 Nacos
这里我们部署 Nacos 集群模式，整体如下示意图，会在 Kubernetes 中创建一个 Service，该 Service 关联 Nacos 中的多个 Pod，一个 Pod 就是 Nacos 节点，Pod 之间通过该 Service 进行交互。最后我们会配置一个 NodePort 方式对外访问。当然，你如果你的 Kubernetes 集群已经部署了 Ingress Controller 则可以创建 Ingress 规则对外提供访问。
0、部署系统环境
软件环境
Nacos 版本：1.4.1
Mysql 版本：8.0.19
Kubernetes 版本：1.20.1
项目示例地址
Kubernetes 中部署 Nacos 的部署文件
Kubernetes 中部署 Mysql 数据库部署文件
1、创建 RBAC 资源
nacos-rbac.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
name: nacos-admin
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: nacos-admin-clusterrole
rules:
- apiGroups: [""]
resources: ["persistentvolumes"]
verbs: ["get", "list", "watch", "create", "delete"]
- apiGroups: [""]
resources: ["persistentvolumeclaims"]
verbs: ["get", "list", "watch", "update"]
- apiGroups: [""]
resources: ["endpoints"]
verbs: ["get", "list", "watch", "create", "update", "patch"]
- apiGroups: ["storage.k8s.io"]
resources: ["storageclasses"]
verbs: ["get", "list", "watch"]
- apiGroups: [""]
resources: ["events"]
verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: nacos-admin-binding
subjects:
- kind: ServiceAccount
name: nacos-admin
namespace: devops
roleRef:
kind: ClusterRole
name: nacos-admin-clusterrole
apiGroup: rbac.authorization.k8s.io
执行部署 Nacos RBAC 资源
-n：指定部署的 Namespace
$ kubectl apply -f nacos-rbac.yaml -n mydlqcloud
2、创建数据库配置 ConfigMap 资源
nacos-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
name: nacos-config
data:
SERVICE_NAME: "nacos-headless"
DOMAIN_NAME: "cluster.local"
NACOS_REPLICAS: "3"
PREFER_HOST_MODE: "hostname"
NACOS_SERVER_PORT: "8848"
NACOS_APPLICATION_PORT: "8848"
JVM_XMX: "2g"
JVM_XMS: "2g"
JVM_XMN: "1g"
MYSQL_SERVICE_HOST: "mysql"
MYSQL_SERVICE_DB_NAME: "nacos_config_cluster"
MYSQL_SERVICE_PORT: "3306"
MYSQL_SERVICE_USER: "root"
MYSQL_SERVICE_PASSWORD: "123456"
参数说明：
MYSQL_SERVICE_HOST：数据库地址（这里使用上面部署的 Mysql，由于部署在 K8S 里面，所以使用 Mysql Service 提供的 K8S 内部地址）
MYSQL_SERVICE_PORT: 数据库端口。
MYSQL_SERVICE_DB_NAME: 指定使用的库名称。
MYSQL_SERVICE_USER: 数据库用户名。
MYSQL_SERVICE_PASSWORD: 数据库密码。
NACOS_APPLICATION_PORT：指定 Nacos 端口号。
PREFER_HOST_MODE：配置 Nacos 集群节点间服务发现使用的模式，支持 hostname、ip 两种模式。
JVM_XMS: 设置 JVM 最大堆内存大小。
JVM_XMX: 设置 JVM 最初是堆内存大小。
JVM_XMN: 设置 JVM 堆内新生代的内存大小。
SERVICE_NAME：指定 Nacos 部署在 K8S 中的 Service 名称。
DOMAIN_NAME：指定 k8s domain 配置，一般默认即可。
执行部署 Nacos 数据库 ConfigMap 资源
-n：指定部署的 Namespace
$ kubectl apply -f nacos-config.yaml -n mydlqcloud
3、创建 Nacos 应用
nacos-deploy.yaml
apiVersion: v1
kind: Service
metadata:
name: nacos-headless
labels:
app: nacos
spec:
ports:
- name: server
port: 8848
targetPort: 8848
- name: rpc
port: 7848
targetPort: 7848
clusterIP: None
selector:
app: nacos
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: nacos
spec:
serviceName: nacos-headless
replicas: 3
template:
metadata:
labels:
app: nacos
spec:
terminationGracePeriodSeconds: 10 #配置优雅停机时间
serviceAccountName: nacos-admin #分配服务账户给应用，方便应用能够获取一定的权限
initContainers: #初始化镜像执行初始化操作
- name: peer-finder-plugin-install
image: nacos/nacos-peer-finder-plugin:1.0
volumeMounts:
- mountPath: "/home/nacos/plugins/peer-finder"
name: plugindir
affinity: #配置Pod反亲和性，放置Pod都起在同一节点上（如果都在一个节点，节点宕机将会使全部实例不可用）
podAntiAffinity:
# requiredDuringSchedulingIgnoredDuringExecution: #硬策略，pod一定不能启在同一个节点上
# - topologyKey: "kubernetes.io/hostname"
# labelSelector:
# matchExpressions:
# - key: "app"
# operator: In
# values:
# - nacos
preferredDuringSchedulingIgnoredDuringExecution: #软策略，尽可能pod不启在同一个节点上
- weight: 100
podAffinityTerm:
topologyKey: "kubernetes.io/hostname"
labelSelector:
matchExpressions:
- key: app
operator: In
values:
- nacos
containers:
- name: nacos
image: nacos/nacos-server:1.4.1
resources:
limits:
cpu: 2
memory: "2Gi"
requests:
cpu: 100m
memory: "1Gi"
ports:
- name: client-port
containerPort: 8848
- name: rpc
containerPort: 7848
envFrom:
- configMapRef:
name: nacos-config
env:
- name: POD_NAMESPACE
valueFrom:
fieldRef:
apiVersion: v1
fieldPath: metadata.namespace
volumeMounts:
- name: plugindir
mountPath: /home/nacos/plugins/peer-finder
- name: datadir
mountPath: /home/nacos/data
- name: logdir
mountPath: /home/nacos/logs
volumeClaimTemplates:
- metadata:
name: plugindir
spec:
storageClassName: nfs-storage #指定storageclass名称，这里需要根据你的K8S集群进行修改
accessModes: ["ReadWriteMany"]
resources:
requests:
storage: 5Gi
- metadata:
name: datadir
spec:
storageClassName: nfs-storage
accessModes: ["ReadWriteMany"]
resources:
requests:
storage: 5Gi
- metadata:
name: logdir
spec:
storageClassName: nfs-storage
accessModes: ["ReadWriteMany"]
resources:
requests:
storage: 5Gi
selector:
matchLabels:
app: nacos
上面配置中使用的是 StatefulSet 资源创建的 Nacos，所以需要存储驱动支持 StorageClass 来动态创建 PVC，这里使用的 NFS，并且使用 nfs-client-provisioner 插件来动态创建 PVC，不同的存储驱动有不同的插件，需要自行根据存储来配置。
执行部署 Nacos 应用
-n：指定部署的 Namespace
$ kubectl apply -f nacos-deploy.yaml -n mydlqcloud
4、暴露 Nacos 对外访问
这里我们再创建一个 Service 资源，设置其类型为 NodePort 方式，提供 NodePort 端口为 30848，方便后续我们对 Nacos Dashboard 进行访问。
kind: Service
apiVersion: v1
metadata:
name: nacos
namespace: devops
labels:
app: nacos
spec:
ports:
- name: server
port: 8848
targetPort: 8848
nodePort: 30848
selector:
app: nacos
type: NodePort
这里使用 NodePort 方式暴露服务。当然，如果你的 Kubernetes 集群部署了 Ingress Controller，也可以配置 Ingress 路由规则，来让外部访问你的服务。
五、访问 Nacos 进行测试
本人这里的 Kubernetes 地址 IP 为 192.168.2.11，而上面配置的 Nacos Service 中指定 NodePort 端口为 30848，又由于 Nacos 默认会带上前缀 /nacos，所以我们可以输入地址 http://192.168.2.11:30848/nacos 访问 Nacos 页面。
输入用户名/密码：nacos/nacos ，登录 Nacos 后会看到如下页面：
六、Nacos 变量参数及其说明
Nacos 提供了很多可以配置的参数，以环境变量的方式让我们进行配置，部分参数如下所示：
| 参数名称 | 默认值 | 参数描述 |
|---|---|---|
| SERVER_SERVLET_CONTEXTPATH | /nacos | 指定 Nacos 服务前缀。 |
| NACOS_APPLICATION_PORT | 8848 | 指定 Nacos 端口。 |
| TOMCAT_ACCESSLOG_ENABLED | false | 是否开启访问日志。 |
| SPRING_DATASOURCE_PLATFORM | 指定数据库平台，目前只支持 mysql。 | |
| MYSQL_DATABASE_NUM | 1 | 数据库数量。 |
| MYSQL_SERVICE_HOST | 指定数据库主机地址。 | |
| MYSQL_SERVICE_PORT | 3306 | 指定数据库端口。 |
| MYSQL_SERVICE_DB_NAME | 指定数据库名称。 | |
| MYSQL_SERVICE_USER | 指定连接数据库的用户名。 | |
| MYSQL_SERVICE_PASSWORD | 指定连接数据库的密码。 | |
| MYSQL_SERVICE_DB_PARAM | characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=true | 指定数据库连接参数。 |
| JVM_XMS | 2g | JVM 的 -Xms 参数配置。 |
| JVM_XMX | 2g | JVM 的 -Xmx 参数配置。 |
| JVM_XMN | 1g | JVM 的 -Xmn 参数配置。 |
| JVM_MS | 128m | JVM 的 -XX:MetaspaceSize 参数配置。 |
| JVM_MMS | 320m | JVM 的 -XX:MaxMetaspaceSize 参数配置。 |
| NACOS_DEBUG | 支持y/n，默认为n | 是否启用远程调试。 |
| NACOS_AUTH_ENABLE | false | 是否启用系统鉴权。 |
| NACOS_AUTH_SYSTEM_TYPE | nacos | 指定 Nacos 系统鉴权认证类型。 |
| NACOS_AUTH_TOKEN | SecretKey012345678901234567890123456789012345678901234567890123456789 | 指定 Nacos 安全认证 Token。 |
| NACOS_AUTH_CACHE_ENABLE | false | 指定 Nacos 是否开启身份验证信息的缓存。 |
| NACOS_AUTH_TOKEN_EXPIRE_SECONDS | 18000 | 指定 Nacos Token 超时时间，单位（秒）。 |
| NACOS_AUTH_USER_AGENT_AUTH_WHITE_ENABLE | false | 指定 Nacos 是否使用 user-agent 判断服务端请求并放行鉴权的功能。 |
| NACOS_AUTH_IDENTITY_KEY | serverIdentity | 指定 Nacos 自定义身份识别的 key。 |
| NACOS_AUTH_IDENTITY_VALUE | security | 指定 Nacos 自定义身份识别的 value。 |
| PREFER_HOST_MODE | ip | 指定通信模式，支持hostname和ip两种。 |
| NACOS_SERVERS | 指定 Nacos 集群地址。 | |
| NACOS_APPLICATION_PORT | 8848 | 指定 Nacos 服务端口。 |
| NACOS_SERVER_IP | 在存在多网卡时，指定使用的 IP。 |
七、参考文档
Nacos 官方文档
本文转载自：「 小豆丁个人博客 」，原文：http://www.mydlq.club/article/104/ ，版权归原作者所有。欢迎投稿，投稿邮箱: [email protected]。
你可能还喜欢
点击下方图片即可阅读
巧用 Curl 命令测试 Unix Socket 接口
点击上方图片，打开小程序，加入「玩转 Linux」圈子
更多有趣的互联网新鲜事，关注「奇妙的互联网」视频号全了解！
