docker部署 nacos单机及集群版本

docker部署nacos单机及集群版本

 

目录

一、不外接mysql,软件包部署方式

二、不外接mysql,docker部署方式

三、外接mysql,docker部署方式

四、docker-compose+nginx+mysql高可用集群版本

五、docker+mysql+nginx高可用集群版本

nacos 2.0版本说明

其中端口 7848、8848、9848、9849是必须要开放的端口,8848是web页面端口,7848是集群数据同步接口,9848、9849是nacos 2.0.0以上的版本必须开发的端口。

Nacos2.0版本相比1.X新增了gRPC的通信方式,因此需要增加2个端口。新增端口是在配置的主端口(server.port)基础上,进行一定偏移量自动生成。

客户端拥有相同的计算逻辑,用户如同1.X的使用方式,配置主端口(默认8848),通过相同的偏移量,计算对应gRPC端口(默认9848)。因此如果客户端和服务端之前存在端口转发,或防火墙时,需要对端口转发配置和防火墙配置做相应的调整。

一、不外接mysql,软件包部署方式
最新稳定版本 下载地址:https://github.com/alibaba/nacos/releases

下载后解压 目录如下 在bin 是启动脚本

启动命令(standalone代表着单机模式运行,非集群模式):

sh startup.sh -m standalone

nacos服务默认端口是8848 浏览器输入 http://ip:8848/nacos

登陆账号和密码都是 nacos

二、不外接mysql,docker部署方式
docker run -d -p 8848:8848 --env MODE=standalone  --name nacos nacos-server:2.0.4
三、外接mysql,docker部署方式
安装mysql

创建数据库nacos_config,插入nacos的配置相关的sql

docker run -d \
-e MODE=standalone \
-e SPRING_DATASOURCE_PLATFORM=mysql \
-e MYSQL_SERVICE_HOST=172.16.0.124 \
-e MYSQL_SERVICE_PORT=31190 \
-e MYSQL_SERVICE_USER=root \
-e MYSQL_SERVICE_PASSWORD='xxxx' \
-e MYSQL_SERVICE_DB_NAME=nacos_config \
-p 8848:8848 \
--restart=always \
--name nacos_saasoperationsecond \
nacos-server:2.0.4
四、docker-compose+nginx+mysql高可用集群版本
 

1.安装mysql

创建数据库nacos_config,插入nacos的配置相关的sql

sudo docker network create --driver bridge --subnet 10.139.0.0/16 --gateway 10.139.0.1 pknet
3.vim docker-compose-nacos.yaml

version: "3"
services:
  nacos:
    hostname: nacos
    image: nacos/nacos-server:2.0.3
    container_name: bdyh-nacos
    privileged: true
    networks:
      - pknet
    volumes:
      - ./cluster-logs:/home/nacos/logs
      - ./init.d/custom.properties:/home/nacos/init.d/custom.properties
    ports:
      - "7848:7848"
      - "8848:8848"
      - "9848:9848"
      - "9555:9555"
      - "9849:9849"
    env_file:
      - ./env/nacos-ip.env
    restart: on-failure
networks:
  pknet:
    external: true
vim nacos-ip.env

#nacos dev env
#如果支持主机名可以使用hostname,否则使用ip,默认也是ip
PREFER_HOST_MODE=ip
MODE=cluster
#多网卡情况下,指定ip或网卡
NACOS_SERVER_IP=192.168.10.128
#集群中其它节点[ip1:port ip2:port ip3:port]
NACOS_SERVERS=192.168.10.128:8848 192.168.10.129:8848 192.168.10.130:8848
#nacos的web端口,不写默认就是8848
NACOS_APPLICATION_PORT=8848
#数据源平台 仅支持mysql或不保存empty
SPRING_DATASOURCE_PLATFORM=mysql
MYSQL_SERVICE_HOST=192.168.10.131
MYSQL_SERVICE_DB_NAME=caseRetrieval-config
MYSQL_SERVICE_PORT=3306
MYSQL_SERVICE_USER=root
MYSQL_SERVICE_PASSWORD=bdyh@2020
MYSQL_DATABASE_NUM=1
#JVM调优参数
JVM_XMS=2g
JVM_XMX=2g
JVM_XMN=2g
JVM_MS=128m
JVM_MMS=320m
vim custom.properties

#spring.security.enabled=false
#management.security=false
#security.basic.enabled=false
#nacos.security.ignore.urls=/**
#management.metrics.export.elastic.host=http://localhost:9200
# metrics for prometheus
management.endpoints.web.exposure.include=*
 
# metrics for elastic search
#management.metrics.export.elastic.enabled=false
#management.metrics.export.elastic.host=http://localhost:9200
 
# metrics for influx
#management.metrics.export.influx.enabled=false
#management.metrics.export.influx.db=springboot
#management.metrics.export.influx.uri=http://localhost:8086
#management.metrics.export.influx.auto-create-db=true
#management.metrics.export.influx.consistency=one
#management.metrics.export.influx.compressed=true
启动:docker-compose -f docker-compose-nacos.yaml up -d

浏览器访问:ip+8848,ip+8849,ip+8850均可访问

五、docker+mysql+nginx高可用集群版本
环境说明

主机ip 部署

192.168.216.56 mysql nacos1

192.168.216.49 nacos2

192.168.216.35 nacos3

192.168.216.49 nginx 做负载均衡

1.安装mysql

2.创建数据库nacos_config,插入nacos的配置相关的sql

3.nacos集群

所有部署主机自建/root/nacos/config logs 等目录,做路径映射

mkdir -p /root/nacos/config
mkdir -p /root/nacos/logs
mkdir -p /data/nacos/config
/root/nacos/config下增加一个custom.properties文件

vi /root/nacos/config/custom.properties

#spring.security.enabled=false
#management.security=false
#security.basic.enabled=false
#nacos.security.ignore.urls=/**
#management.metrics.export.elastic.host=http://localhost:9200
# metrics for prometheus
management.endpoints.web.exposure.include=*
 
# metrics for elastic search
#management.metrics.export.elastic.enabled=false
#management.metrics.export.elastic.host=http://localhost:9200
 
# metrics for influx
#management.metrics.export.influx.enabled=false
#management.metrics.export.influx.db=springboot
#management.metrics.export.influx.uri=http://localhost:8086
#management.metrics.export.influx.auto-create-db=true
#management.metrics.export.influx.consistency=one
#management.metrics.export.influx.compressed=true
#其他都注释掉了,包括一些监控等,以后需要可以自行修改配置
其他都注释掉了,包括一些监控等,以后需要可以自行修改配置

各个主机使用docker启动nacos:

192.168.216.56的nacos:

docker run -d --name nacos1 --hostname nacos1 --net=host --add-host nacos1:192.168.216.56 --add-host nacos2:192.168.216.35 --add-host nacos3:192.168.216.49 -e PREFER_HOST_MODE=hostname -e MYSQL_SERVICE_HOST=192.168.216.56 -e MYSQL_SERVICE_DB_NAME=nacos_config -e MYSQL_SERVICE_USER=root -e MYSQL_SERVICE_PASSWORD=xxxx -e MYSQL_SERVICE_PORT=3306 -e NACOS_SERVERS="nacos1:8848 nacos2:8848 nacos3:8848" -v /root/nacos/config/custom.properties:/home/nacos/init.d/custom.properties -v /root/nacos/logs:/home/nacos/logs nacos/nacos-server:1.4.2
192.168.216.49的nacos:

docker run -d --name nacos2 --hostname nacos2 --net=host --add-host nacos1:192.168.216.56 --add-host nacos2:192.168.216.35 --add-host nacos3:192.168.216.49 -e PREFER_HOST_MODE=hostname -e MYSQL_SERVICE_HOST=192.168.216.56 -e MYSQL_SERVICE_DB_NAME=nacos_config -e MYSQL_SERVICE_USER=root -e MYSQL_SERVICE_PASSWORD='xxxx' -e MYSQL_SERVICE_PORT=3306 -e NACOS_SERVERS="nacos1:8848 nacos2:8848 nacos3:8848" -v /root/nacos/config/custom.properties:/home/nacos/init.d/custom.properties -v /root/nacos/logs:/home/nacos/logs nacos/nacos-server:1.4.1
192.168.214.35的nacos:

docker run -d --name nacos3 --hostname nacos3 --net=host --add-host nacos1:192.168.216.56 --add-host nacos2:192.168.216.35 --add-host nacos3:192.168.216.49 -e PREFER_HOST_MODE=hostname -e MYSQL_SERVICE_HOST=192.168.216.56 -e MYSQL_SERVICE_DB_NAME=nacos_config -e MYSQL_SERVICE_USER=root -e MYSQL_SERVICE_PASSWORD='xxxx' -e MYSQL_SERVICE_PORT=3306 -e NACOS_SERVERS="nacos1:8848 nacos2:8848 nacos3:8848" -v /root/nacos/config/custom.properties:/home/nacos/init.d/custom.properties -v /root/nacos/logs:/home/nacos/logs nacos/nacos-server:1.4.1
4.安装nginx。配置负载均衡

stream {
    upstream nacos {
        server 192.168.216.56:8848;
        server 192.168.216.49:8848;
        server 192.168.216.35:8848;
    }
    server {
        listen 18848;
        proxy_pass nacos;
    }
}
5.访问:192.168.216.49:18848/nacos

一直以来使用nacos都会遇到各种各样的问题,最后的结果都是springcloud项目无法注册到nacos服务端,有时候是springcloud能注册到nacos服务端,但是项目日志还是报错误,大概有如下几个:

09:25:28.782 [com.alibaba.nacos.client.Worker.longPolling.fixed-10.1.6.102_8848] ERROR com.alibaba.nacos.client.config.http.ServerHttpAgent - [NACOS Exception httpPost] currentServerAddr: http://10.1.6.102:8848 java.net.NoRouteToHostException: No route to host (Host unreachable)

erviceName":"DEFAULT_GROUP@@hgc-gateway","stopped":false,"weight":1.0} java.lang.IllegalStateException: failed to req API:/nacos/v1/ns/instance/beat after all servers([10.1.6.102:8848]) tried: failed to req API:10.1.6.102:8848/nacos/v1/ns/instance/beat. code:500 msg: java.net.SocketTimeoutException: connect timed out

11:26:10.281 [com.alibaba.nacos.client.Worker.longPolling.fixed-nacos-headless_8848] ERROR com.alibaba.nacos.client.config.impl.ClientWorker - [fixed-nacos-headless_8848] [check-update] get changed dataId exception java.net.UnknownHostException: nacos-headless

像以上这几个是能注册到nacos服务端的,也有的不能注册到,导致开发在排查问题的时候老是说环境有问题,搞得我很烦,明明环境是和刚部署的时候一样的,怎么开发一更新了环境就会出问题呢?

总结一下这个nacos的几个坑:

1、如果是使用官方给的编排文件在k8s里面部署nacos,有时候使用cluster模式没有问题,有的时候得用standalone模式,比如我在华为云就是使用cluster,没有问题,但是我在自建的k8s刚开始也是使用cluster模式也没有问题,后来开发更新了版本,不知道更新了什么组件,使用cluster模式就有问题,有的项目能注册到,有的项目注册不了,只能改成standalone模式

2、在k8s环境中使用cluster模式在nacos ui界面的节点列表会出现异常结点,节点后面会多个点,导致刷新的时候会阵阵的卡

nacos-0.nacos-headless.wehgc-test.svc.cluster.local.:8848

3、在linux环境中安装的nacos同样会遇到能注册到但是项目会提示连接异常的问题,这时候只要看到能注册就行,其他不管

4、nacos似乎对mysql-community或者mariadb版本也会影响,mysql5.7和mysql8.0会有不一样,主要是mysql连接器的问题,需要检查包里的mysql-connector-java-8.0.16.jar

5、nacos和springcloud各组件的版本也有依赖关系,比如我知道的redisson组件,千万不要随便更改版本,否则你会很惨

补充:

针对第1点,改成standalone模式后会存在不能将数据存储在mysql里面的问题,后来我又改成cluster模式,并且使用第 2点的方法解决卡的问题

针对第2点问题这里的解决方案是

这个是你kubernetes根域名导致的 两个方案,第一,kubernetes的 dns cluster.domain属性,可自行百度,有这个方案。 第二 修改部署Yaml里面NACOS_SERVERS环境变量,给配置的每个节点local后面加个点,像这样nacos-0.nacos-headless.default.svc.cluster.local.:8848

com.alibaba.cloud

spring-cloud-starter-alibaba-nacos-config

2.1.0.RELEASE

org.springframework.cloud

spring-cloud-starter-bootstrap

3.1.0

降低nacos版本依赖:

com.alibaba.cloud

spring-cloud-starter-alibaba-nacos-config

1.5.0.RELEASE

org.springframework.cloud

spring-cloud-starter-bootstrap

3.1.0

你可能感兴趣的:(docker,k8s,java,docker,kubernetes)