Soul API网关源码解析12-数据同步篇

目标

• soul 基于Http 数据同步简介

• soul-admin Http长轮询配置

  • admin yml 文件配置
  • Properties 配置

• admin Http 启动流程解析

soul基于Http数据同步简介

原理图

image.png

从图中我们可以看出主要流程如下:

1.soul-web 设置http 读超时为 90s,也就是web 端发起询问数据更新时候,只会等待90s。90s到了没得到web 的返回数据也没关系，只能说admin端数据没有发生改变。

2.admin 的configController 有两个接口,第一次web 启动时候会调用fetch 接口全量依次拉取数据

3.后面web 根据admin个数开启对应的处理线程，并进入循环处理 间隔5分钟的轮询操作，问admin 要数据 使用/configs/listener 接口

4.admin 端 本地缓存与数据库之间的正向数据变动是 5分钟 更新一次。这里是使用数据的md5+最后一次更新时间来进行判断

5.如果admin 反向数据发生变化则DataChangedEventDispatcher 发起通知,这时候启动DataChangeTask,清空BlockingQueu 同时直接将数据丢给 web client.

6.如果web 向admin 发送请求,此时 admin 启动 60s 超时处理，如果数据未发生改变,则将次此请求从队列中剔除

soul-admin Http长轮询配置

admin yml 文件配置

image.png

如果这里http.enabled 不写的话, 长轮询的接口/configs/** 是不会被打开的

Properties 配置

image.png

Http 默认从数据库拉取数据间隔是5分钟

Admin Http 启动流程

HttpLongPollingDataChangedListener 初始化

此处采用的是Spring @Configuration 自动装配,主要就是使用HttpProperties属性来实例化admin端的数据变动监听器。

image.png

public HttpLongPollingDataChangedListener(final HttpSyncProperties httpSyncProperties) {
// 实例化一个阻塞行的FIFO队列
    this.clients = new ArrayBlockingQueue<>(1024);
    // 启动一个核心线程数为1,soul 自己实现的线程工厂的线程调度器
    this.scheduler = new ScheduledThreadPoolExecutor(1,
            SoulThreadFactory.create("long-polling", true));
    this.httpSyncProperties = httpSyncProperties;
}

这里面主要就是给web 向admin 请求,开启60s超时处理器使用的资源。

Admin正向接收请求处理

这里面首次全量获取/configs/fetch 就不介绍了，我们看下后面按照一定间隔获取数据的接口处理流程/config/listener

接收到请求启动LongPollingClient处理

image.png

• 先是根据request得到web那边的数据,拿着数据与当前admin 本地缓存数据对比,计算md5与最后一次更新时间,如果发现md5不同,并且上次时间小于当前时间,此时立马response。
• 如果数据一致,那就进入60s等待流程,超过时间将本次请求节点从队列中删除

image.png

Admin反向接收数据变动通知

批量从表中获取数据

image.png

image.png

因为 HttpLongPollingDataChangedListener 继承 AbstractDataChangedListener

所以系统启动时候，会批量从表中拿出数据,存入本地缓存。然后执行HttpLongPollingDataCHangedListener的afterInitialize()

执行HttpLongPollingDataChangedListener的初始化工作(afterInitialize())

image.png

这里面主要设定了间隔5分钟去表中全量获取一次数据，这样保持缓存中数据是最新的

image.png

Dispatcher 数据变动通知这里拿plugin

• onPluginChanged 触发执行afterPluginChanged

image.png

里面开启DataChangeTask 执行任务,立即清空接收队列,并将数据返回出去

image.png

总结

今天我们讲解了Http长轮询的基本流程,和重点对admin端启动到正反向数据请求和变动通知流程。下一节对bootstrap(web）启动与处理流程解析

参考

soul github
soul document