Nacos高可用集群搭建与使用
目录
一、Nacos 简介
二、Nacos 安装
2.1 Nacos 环境依赖
2.2 Nacos 服务端安装
三、Nacos 部署
3.1 单实例部署
3.2 集群部署
四、微服务集成Nacos
4.1 依赖组件版本选型
4.2 注册中心
4.3 配置中心
一、Nacos 简介
Nacos 致力于帮助您发现、配置和管理微服务。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据及流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。 Nacos 是构建以“服务”为中心的现代应用架构 (例如微服务范式、云原生范式) 的服务基础设施。
nacos官网：https://nacos.io/zh-cn/docs/what-is-nacos.html
二、Nacos 安装
2.1 Nacos 环境依赖
Nacos 基于 java 开发的，运行依赖于64 bit JDK 1.8+环境。
前往官网下载JDK: Java Downloads | Oracle
2.2 Nacos 服务端安装
由于Nacos是开源的，可以从github下载源码编译后安装，也可以直接从github下载官方编译好的安装包进行安装，本文直接使用官方编译好的包进行安装，基于目前官方最新release2.0.3版本。请勿使用2.x以下的版本，之前爆出过漏洞。2.x版本相对于1.x版本，性能也提升了10倍。
下载地址：https://github.com/alibaba/nacos/releases
三、Nacos 部署
3.1 单实例部署
单实例部署不适合生产环境，单点故障是致命的。
Linux 单实例非集群模式启动命令：
startup.sh -m standalone
Linux 单实例非集群模式关闭命令：
shutdown.sh
访问 nacos 管理页面，初始化用户名密码均为 nacos
访问地址：http://127.0.0.1:8848/nacos/index.html
端口默认为8848，ip需要替换为部署服务器实例的ip
3.2 集群部署
3.2.1 集群架构
- 高可用 Nginx 集群
- Nacos 集群（至少三个实例）
- 高可用数据库集群（取代 Nacos 内嵌数据库）
3.2.2 模拟部署
环境信息：
| 系统版本 |
机器IP |
部署应用 |
应用版本 |
| CentOS8.5 |
192.168.230.1 |
Nginx |
nginx-1.18.0 |
| CentOS8.5 |
192.168.230.129 |
Nacos |
2.0.3 |
| CentOS8.5 |
192.168.230.130 |
Nacos |
2.0.3 |
| CentOS8.5 |
192.168.230.131 |
Nacos |
2.0.3 |
| CentOS8.5 |
192.168.230.1 |
MySQL |
5.7.32 |
使用vmware虚拟机模拟以上不同机器环境。
搭建步骤：
1）初始化 nacos数据库
解压下载的安装包nacos-server-2.0.3.tar.gz至/usr/local目录，找到/nacos/conf下的nacos-mysql.sql脚本
在MySQL实例创建 nacos库并执行sql脚本
修改修改 Nacos 配置文件，指向MySQL实例，替换其内嵌数据库
在application.properties中找到如下配置，该配置默认为注释掉的，取消注释即可，修改数据库信息为实际的数据库信息后保存。其他nacos服务实例也需要做同样的修改
为了达到高可用，通常会有多个MySQL数据库实例，nacos的配置文件也需要指定每一个MySQL实例的信息，例如：
2）集群配置
在/nacos/conf下找到cluster.conf.example文件，将其重命名为cluster.conf
修改cluster.conf文件，将其中的默认的ip信息删除，将nacos集群中每一台nacos实例的ip添加进去。集群中所有nacos实例都需要做以上集群配置，至此关于 nacos 的配置结束了，可以尝试以集群模式启动三个nacos实例了。
切换到/nacos/bin目录下，执行./startup.sh & tail -f /usr/local/nacos/logs/start.out
启动nacos，并查看启动日志，出现下面提示说明启动成功
此时可以通过浏览器访问每个nacos实例的控制台，例如：http://192.168.230.131:8848/nacos
说明：如果三个实例以集群模式正常启动，那么分别访问三个实例的管理页就是展示以上登录页了。如果不能访问，则可能防火墙未开放 nacos 服务的端口，可执行如下命令。
[root@localhost bin]# firewall-cmd --add-port=8848/tcp --permanent
success
[root@localhost bin]# firewall-cmd --reload
success如果nacos启动时报已下异常，有以下三种原因：
原因一：连不上MySQL数据库，通常是由于MySQL数据库所在的宿主机没有开放3306端口导致的，在MySQL宿主机执行以下命令即可
[root@localhost bin]# firewall-cmd --add-port=3306/tcp --permanent
success
[root@localhost bin]# firewall-cmd --reload
Success原因二：由于nacos配置文件application.properties中默认的数据库连接超时时间设置较短，如下图，因为网络延时等原因，MySQL可能会连接超时导致nacos启动报错，因此只需要将超时时间适当设置长一些即可
原因三：虚拟机内存不足，由于在vmvare创建虚拟机时，只给每个虚拟分配了1G的内存，从nacos的启动脚本startup.sh中可知，nacos以集群模式启动时，默认分配的java堆内存空间为2G，因此可判断是由于虚拟机内存不足导致nacos启动报错，修改虚拟机内存为2G后可以正常启动。
3）Nginx 配置
修改 Nginx 配置文件 nginx.conf如下：
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
#nacos集群负载均衡
upstream nacos-cluster {
server 192.168.230.129:8848;
server 192.168.230.130:8848;
server 192.168.230.131:8848;
}
server {
listen 80;
server_name 192.168.230.1;
location / {
#root html;
#index index.html index.htm;
proxy_pass http://nacos-cluster;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}4）访问控制台
在浏览器输入Nginx服务所在宿主机的ip即可访问：
http://192.168.230.1/nacos/#/login
默认用户名/密码：nacos/nacos
切换至【集群管理】-【节点列表】，可查看nacos集群节点信息：
四、微服务集成Nacos
4.1 依赖组件版本选型
由于Spring Cloud Alibaba与Spring Boot 及Spring Cloud版本的兼容性要求非常严格，如果依赖选错版本，很可能会导致服务启动报错从而导致启动失败。不过alibaba官方已经给我们整理出了推荐的版本依赖关系：
由于我们使用的nacos是最新的2.0.3版本，从以上表格可以查询到依赖的Spring Cloud Alibaba的版本为2.2.7.RELEASE。继续根据Spring Cloud Alibaba的版本查询毕业版本依赖关系表，如下图，可以找到依赖的Spring Cloud版本为Hoxton.SR12，依赖的Spring Boot版本为2.3.12.RELEASE
因此，通过上述查询，最终确定微服务依赖版本选型如下：
| Spring Cloud Version |
Spring Cloud Alibaba Version |
Spring Boot Version |
Nacos Version |
| Hoxton.SR12 |
2.2.7.RELEASE |
2.3.12.RELEASE |
2.0.3 |
官方版本说明：https://github.com/alibaba/spring-cloud-alibaba/wiki/%E7%89%88%E6%9C%AC%E8%AF%B4%E6%98%8E
4.2 注册中心
首先新建demo-project-parent父工程，根据4.1 依赖组件版本选型选型确定的版本，在父pom文件统一定义好依赖的组件以及版本，如下：
1.8
2.3.12.RELEASE
Hoxton.SR12
2.2.7.RELEASE
org.springframework.boot
spring-boot-dependencies
${spring-boot.version}
pom
import
org.springframework.cloud
spring-cloud-dependencies
${spring-cloud.version}
pom
import
com.alibaba.cloud
spring-cloud-alibaba-dependencies
${spring-cloud-alibaba.version}
pom
import
4.2.1 服务提供者
在父工程下新建服务提供者子模块micro-service-provider，并在pom文件引入依赖：
org.springframework.boot
spring-boot-starter-web
com.alibaba.cloud
spring-cloud-starter-alibaba-nacos-discovery
修改provider配置文件application.yml：
server:
port: 8081
spring:
application:
name: service-provider
cloud:
nacos:
discovery:
#nacos集群配置(Nginx)
server-addr: 192.168.230.1:80provider启动类：
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.client.discovery.EnableDiscoveryClient;
@SpringBootApplication
@EnableDiscoveryClient
public class ProviderApplication {
public static void main(String[] args) {
SpringApplication.run(ProviderApplication.class, args);
}
}
Provider测试Controller类：
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
@RestController
public class ProviderController {
@Value("${server.port}")
String port;
@GetMapping("/hi")
public String hi(@RequestParam(value = "name", defaultValue = "zmx",required = false) String name) {
return "hello " + name + ", i'm provider, my port:" + port;
}
}
4.2.2 服务消费者
在父工程下新建服务消费者子模块micro-service-consumer，并在pom文件引入以下依赖：
org.springframework.boot
spring-boot-starter-web
com.alibaba.cloud
spring-cloud-starter-alibaba-nacos-discovery
org.springframework.cloud
spring-cloud-starter-openfeign
org.springframework.cloud
spring-cloud-starter-loadbalancer
修改consumer配置文件：
server:
port: 8082
spring:
application:
name: service-consumer
cloud:
nacos:
discovery:
#nacos集群配置(Nginx)
server-addr: 192.168.230.1:80在工程的启动类加上@EnableFeignClient注解，以开启FeignClient的功能：
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.client.discovery.EnableDiscoveryClient;
import org.springframework.cloud.openfeign.EnableFeignClients;
@SpringBootApplication
@EnableDiscoveryClient
@EnableFeignClients
public class ConsumerApplication {
public static void main(String[] args) {
SpringApplication.run(ConsumerApplication.class, args);
}
}
写一个feign客户端FeignClient，去调用provider服务的接口：
import org.springframework.cloud.openfeign.FeignClient;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
//此处的value值对应于provider服务application配置文件中的spring.application.name
@FeignClient(value = "service-provider" )
public interface ProviderClient {
@GetMapping("/hi")
String hi(@RequestParam(value = "name", defaultValue = "zmx", required = false) String name);
}写一个测试接口，让consumer去调用provider服务的接口：
import net.myibc.client.ProviderClient;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
@RestController
public class ConsumerController {
@Autowired
ProviderClient providerClient;
@GetMapping("/hi-feign")
public String hiFeign(){
return providerClient.hi("feign");
}
}
启动provider和consumer两个工程，在nacos的【服务管理】-【服务列表】页面查看，可见2个服务都已经注册成功：
注意：这里启动所有服务后，可能在控制台只能查看到某一个服务，或者查不到注册的服务，查看nacos.log日志，发现报如下异常：
出现该异常的原因：当nacos客户端升级为2.x版本后，新增了gRPC的通信方式，新增了两个端口。这两个端口在nacos原先的端口上(默认8848)，进行一定偏移量自动生成。
端口与主端口的偏移量描述：
9848：客户端gRPC请求服务端端口，用于客户端向服务端发起连接和请求
9849：服务端gRPC请求服务端端口，用于服务间同步等
7848：Nacos 集群通信端口，用于Nacos 集群间进行选举，检测等
因此，不难猜出，出现该问题的原因是由于nacos2.x版本新增的这两个端口没有在宿主机开启防火墙白名单，导致nacos实例之间无法进行服务间数据同步，因而在控制台无法查看到所有的服务注册实例信息。只需要在nacos宿主机执行以下命令即可：
[root@localhost bin]# firewall-cmd --add-port=9848/tcp --permanent
success
[root@localhost bin]# firewall-cmd --add-port=9849/tcp --permanent
success
[root@localhost bin]# firewall-cmd --add-port=7848/tcp --permanent
success
[root@localhost bin]# firewall-cmd --reload
Success注意：如果是采用VIP/nginx代理集群的话，需要在nginx配置9848和9849这两个端口的TCP请求转发，否则客户端服务在启动时因为无法连接到服务端这两个端口，从而导致启动失败。如果不使用任何代理，在宿主机执行以上开启端口白名单命令后，只需要在客户端服务application配置文件里配置naocs集群的节点的ip和端口即可，配置如下：
Nginx配置nacos TCP转发配置：
#配置nacos TCP转发
stream {
upstream nacos1 {
server 192.168.230.129:9848;
server 192.168.230.130:9848;
server 192.168.230.131:9848;
}
server {
listen 9848;
proxy_pass nacos1;
}
upstream nacos2 {
server 192.168.230.129:9849;
server 192.168.230.130:9849;
server 192.168.230.131:9849;
}
server {
listen 9849;
proxy_pass nacos2;
}
}
4.2.3 服务调用
在浏览器上输入http://127.0.0.1:8082/hi-feign，浏览器返回响应：
hello feign, i'm provider ,my port:8081可见浏览器的请求成功调用了consumer服务的接口，consumer服务也成功地通过feign成功的调用了provider服务的接口。
4.2.4 负载均衡
Feign使用了Spring Cloud Loadbanlancer作为负载均衡器。可以通过修改provider的端口，再在本地启动一个新的provider服务，那么本地有2个provider 服务，端口分别为8081 和8083。在浏览器上多次调用http://127.0.0.1:8082/hi-feign，浏览器会交替显示：
hello feign, i'm provider ,my port:8081hello feign, i'm provider ,my port:8083此时控制台provider的实例数会变为2：
4.3 配置中心
4.3.1 配置中心客户端
在父工程下新建nacos配置客户端子模块nacos-config-client，并在pom文件引入以下依赖：
com.alibaba.cloud
spring-cloud-starter-alibaba-nacos-config
在bootstrap.yml（一定是bootstrap.yml文件，不是application.yml文件）文件配置以下内容：
spring:
application:
name: nacos-config-client
cloud:
nacos:
config:
server-addr: 192.168.230.1:80
file-extension: yaml
prefix: nacos-config-client
profiles:
active: dev在上面的配置中，配置了nacos config server的地址，配置的扩展名是ymal（目前仅支持ymal和properties）。注意是没有配置server.port的，sever.port的属性在nacos中配置。上面的配置是和Nacos中的dataId 的格式是对应的，nacos的完整格式如下：
${prefix}-${spring.profile.active}.${file-extension}
- prefix 默认为 spring.application.name 的值，也可以通过配置项 spring.cloud.nacos.config.prefix来配置。
- spring.profile.active 即为当前环境对应的 profile，详情可以参考 Spring Boot文档。 注意：当 spring.profile.active 为空时，对应的连接符 - 也将不存在，dataId 的拼接格式变成 ${prefix}.${file-extension}
- file-exetension 为配置内容的数据格式，可以通过配置项 spring.cloud.nacos.config.file-extension 来配置。目前只支持 properties 和 yaml 类型。
启动nacos，登陆控制台http://192.168.230.1/nacos，创建一个Data ID ，完整的配置如图所示：
写一个RestController,在Controller上添加@RefreshScope注解实现配置的热加载。该注解只有加载需要动态更新配置的类上才会生效，如果将该注解加在启动类上，其他类中的动态更新是不会生效的，代码如下：
import org.springframework.beans.factory.annotation.Value;
import org.springframework.cloud.context.config.annotation.RefreshScope;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
@RestController
@RefreshScope
public class ConfigController {
@Value("${username:lily}")
private String username;
@RequestMapping("/username")
public String get() {
return username;
}
}
启动工程nacos-provider，在浏览器上访问http://127.0.0.1:8084/username，可以返回在nacos控制台上配置的username的值zhangsan3。在nacos 控制台上更改username的配置为lisi，在不重启nacos-provider工程的情况下，重新访问http://127.0.0.1:8084/username，返回的是修改后的值lisi，可见nacos作为配置中心实现了热加载功能。
修改nacos中username配置前返回：
将nacos中username的值修改为lisi后重新请求返回：
注意：使用某些高版本的SpringCloud组件时，在启动nacos配置客户端服务的时候，可能会找不到bootstrap.yml配置文件，会报如下错误，只需要在系统环境变量中配置一下环境变量即可：spring.cloud.bootstrap.enabled=true
4.3.2 开启权限认证
通常情况下，为了安全起见，客户端服务在访问nacos的时候都需要通过用户名和密码认证，nacos默认是没有开启认证的，如果需要开启认证，首先需要编辑/nacos/conf/application.properties配置文件，找到nacos.core.auth.enabled=false配置项，如下图，默认是false，表示权限认证是关闭的，修改为true即可开启认证。修改完成后需要重启所有nacos实例。
在application配置文件中配置nacos的用户名和密码，如下图，首先将服务用户名和密码配置为一个不存在的用户，启动服务验证权限配置是否生效：
启动服务，发现报了以下异常，code=403和unknown user，说明权限验证失败：
将用户名和密码修改为正确的之后，再次启动服务，可发现服务启动正常：
至此，说明nacos的权限认证配置已生效。
原文：我的博客-Nacos高可用集群搭建与使用 (zhangmaoxing.cn)