Nacos集群外网配置

nacos version: 1.4.2

nginx 负载均衡

# nacos集群 负载均衡
  upstream nacos{
        server 59.xx.xxx.242:8848
        server 120.xx.x.129:8848
        server 148.xx.xx.37:8848
  }

# nacos
  server {
        listen      8849;
        location ^~ /nacos{
        proxy_pass http://nacos;
        # nginx非80端口处理
        proxy_set_header        Host $host:$server_port;
        # 获取真实IP
        proxy_set_header        X-Real-IP $remote_addr;
        # 获取代理者的真实ip
        proxy_set_header       X-Forwarded-For        $proxy_add_x_forwarded_for;
        # 解决getScheme，isSecure，sendRedirect
        proxy_set_header X-Forwarded-Scheme  $scheme;
        client_max_body_size    1000m;
        client_body_buffer_size 128k;
        proxy_connect_timeout   90;
        proxy_send_timeout      90;
        proxy_read_timeout      90;
        proxy_buffer_size       4k;
        proxy_buffers           4 32k;
        proxy_busy_buffers_size 64k;
        proxy_temp_file_write_size 64k; 
    }
  }

1.Nacos默认是以集群方式启动

sh startup.sh
# 可以查看startup.sh 脚本代码(如下)
if [[ "${MODE}" == "standalone" ]]; then
    JAVA_OPT="${JAVA_OPT} -Xms512m -Xmx512m -Xmn256m"
    JAVA_OPT="${JAVA_OPT} -Dnacos.standalone=true"
else
# 集群模式对应的启动参数
    JAVA_OPT .... code

2.Nacos集群时在 nacos/conf/cluster.conf 文件中配置的所有节点都是使用同一网段的内网ip (注意是同一网段)

[root@dpl ~]
# vim /usr/local/nacos/conf/cluster.conf
#it is ip
#example
172.16.xx.29:8848
172.16.xx.30:8848
172.16.xx.31:8848

以上使用内网的三台 Nacos 服务进行集群, 注意是内网,内网,内网 !

问题描述:

按照官网文档修改了cluster.conf,添加了三台服务的IP(172.XX.XX.29:8848, 172.XX.XX.30:8848,172.XX.XX.31:8848)，启动 nacos 服务时报错。
这种情况此时启动服务应用进行服务注册，发现报如下错误：

java.lang.IllegalStateException: failed to req API:/nacos/v1/ns/instance after all servers([172.16.xx.29:80]) ....

深层的原因：在大多数Linux操作系统中，都是以/etc/hosts中的配置查找主机名的，而 Java 的InetAddress.java 调用 InetAddressImpl.java 的 public native String getLocalHostName() throws UnknownHostException;
来获取本地主机名，Java 的这个方法是 native 的，是本地系统的一个实现，此时根据本地/etc/hostname文件中的机器名来获取本机 IP，然而这个 IP 并不是这台机器的内网 IP，所以这篇文章是通过修改本机名称和本机IP来解决 .

不同网段

#it is ip
#example
59.xx.xxx.242:8848
120.xx.x.129:8848
148.xx.xx.37:8848

云服务器一般都会提供外网和内网的 ip, 访问外网 ip 时会指向对应的内网 ip 来访问到该服务器, 由于 nacos 集群内部是指定的使用网卡ip地址来进行通信,但是由于三台服务器各自的内网 ip 不在同一网段, 所以造成无法通信, 也会造成以下问题.

解决

查询资料后发现可以通过启动文件设置 ip 地址的参数来自己指定使用的 ip 地址

private static String getHostAddress() {
        String address = System.getProperty("nacos.server.ip");
        if (StringUtils.isNotEmpty(address)) {
            return address;
        } else {
            address = "127.0.0.1";
        }
        ...
}

这时只要修改启动参数, 设置本机 ip 地址就可以了
修改 nacos/bin/startup.sh 文件
找到 JVM Configuration 这部分, 在集群参数里增加 -Dnacos.server.ip=xx

#=================================================================================
# JVM Configuration
#================================================================================

# 单机模式对应的启动参数
if [[ "${MODE}" == "standalone" ]]; then
    JAVA_OPT="${JAVA_OPT} -Xms512m -Xmx512m -Xmn256m"
    JAVA_OPT="${JAVA_OPT} -Dnacos.standalone=true"
else
# 集群模式对应的启动参数
    JAVA_OPT="${JAVA_OPT} -server -Xms2g -Xmx2g -Xmn1g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
    JAVA_OPT="${JAVA_OPT} -XX:-OmitStackTraceInFastThrow -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=${BASE_DIR}/logs/java_heapdump.hprof"
    JAVA_OPT="${JAVA_OPT} -XX:-UseLargePages"

# 新增以下参数设置本机ip地址
    JAVA_OPT="${JAVA_OPT} -Dnacos.server.ip= 服务器的ip"

fi

这个是重点: JAVA_OPT="${JAVA_OPT} -Dnacos.server.ip= 服务器的ip";

其他问题

1.内存

比如我有一台服务器4g内存,但是由于挂着的进程太多,剩余的内存已经低于nacos默认配置的内存(见startup.sh),导致启动失败.见(nacos/bin/startup.sh)

JAVA_OPT="${JAVA_OPT} -server -Xms2g -Xmx2g -Xmn1g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

这个时候可以降低默认的启动内存(如下)

JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn256m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

2.配置问题

我把当中配置的列出来,供参考

nacos/conf/cluster.conf

59.xx.xxx.242:8848
120.xx.x.129:8848
148.xx.xx.37:8848

nacos/conf/application.properties

### Connect URL of DB:
spring.datasource.platform=mysql
db.num=1
db.url.0=jdbc:mysql://ip:port/config_db?characterEncoding=utf8&connectTimeout=1000&socketTimeout=10000&autoReconnect=true
db.user=username
db.password=password

### If turn on auth system: 
### 这里配置的话 nacos client端需要配置账户密码 默认: nacos nacos
nacos.core.auth.enabled=true

看万卷书行万里路.
能解决实际问题的技术才有它的价值,斗转乾坤.

Nacos集群 外网配置