高性能Java RPC 框架----Dubbo
Dubbo 简介
Apach Dubbo 是一款高性能、轻量级的开源Java RPC框架，它提供了三大核心能力：面向接口的远程调用、智能容错和负载均衡、服务自动注册和发现。
- 面向接口代理的高性能RPC调用： 提供高性能的基于代理的远程调用能力，服务以接口为粒度，为开发者屏蔽远程调用底层细节
- 智能负载均衡： 内置多种负载均衡策略，智能感知下游节点健康状况，显著减少调用延迟，提高系统吞吐量
- 服务自动注册与发现： 支持多种注册中心服务，服务实例上下线实时感知
- 高度可扩展能力： 遵循微内核+插件的设计原则，所有核心能力如Protocol、Transport、Serialization被设计为扩展点，平等对待内置实现和第三方实现
- 运行期流量调度： 内置条件、脚本等路由策略，通过配置不同的路由规则，轻松实现灰度发布，同机房优先等功能
- 可视化的服务治理与运维： 提供丰富服务治理、运维工具：随时查询服务元数据、服务健康状态及调用统计，实时下发路由策略、调整配置参数
Dubbo 设计架构
服务发现的一个核心组件是注册中心，Provider 注册地址到注册中心，Consumer 从注册中心读取和订阅 Provider 地址列表。
Dubbo注册中心 Zookeeper
Dubbo目前支持的注册中心有nacos、zookeeper、multicast、redis、simple，当然官方还是推荐使用zookeeper作为注册中心，所以本文使用zookeeper进行演示。相关的安装教程可以参考 服务注册与发现-Zookeeper(二)
Dubbo 监控中心
Dubbo Admin
监控中心可以帮助用户通过可视化界面管理和维护众多的服务，可以通过可视化界面很直观的查看各个服务的情况，下载地址：https://github.com/apache/dubbo-admin，目前支持docker快速部署，或者你也可以通过运行源码或手动打包部署，本文演示手动打包部署到Linux系统中。注意：监控中心目前不兼容3.0+版本，本文仅做演示，可能后期会出兼容的版本
1. 从github 上下载源码
git clone https://github.com/apache/dubbo-admin.git
2. 在 \dubbo-admin\dubbo-admin-server\src\main\resources 目录下修改配置文件指定注册中心地址
# 配置zookeeper地址
admin.registry.address=zookeeper://192.168.0.132:2181,192.168.0.133:2181,192.168.0.134:2181
admin.config-center=zookeeper://192.168.0.132:2181,192.168.0.133:2181,192.168.0.134:2181
admin.metadata-report.address=zookeeper://192.168.0.132:2181,192.168.0.133:2181,192.168.0.134:2181
3. 在dubbo-admin 根目录进行打包
mvn clean package -Dmaven.test.skip=true
4. 运行，监控中心可以通过源码启动，也可以通过打包后的jar启动
方式1：源码启动
监控中心是前后端分离开发的，所以源码启动时需要前后端分开启动
# 启动前端，dubbo-admin-ui 为前端源码
npm install # 安装依赖
npm run dev
# 启动后端，dubbo-admin-server 为后端源码
# 通过编译器或者mvn命令进行启动
mvn spring-boot:run
启动后访问8082端口：http://localhost:8082/，默认用户名和密码都为 root
方式2：打包部署
将步骤三打包后的jar包上传到服务器进行启动，打包后的文件已经默认集成了UI
java -jar dubbo-admin-server-0.4.0.jar
启动后访问8080端口，默认用户名和密码都为 root
Dubbo Monitor Simple
Dubbo Monitor Simple主要用户监控服务调用，例如进行统计等操作查询。下载地址：https://github.com/apache/dubbo/tree/2.5.x/dubbo-simple，注意是2.5.x分支，其他分支已经没有这个项目了，不知道新版本能不能支持它。
1. 将整个dubbo克隆到本地
# 克隆项目
git clone https://github.com/apache/dubbo.git
# 切换到2.5.x分支
git checkout 2.5.x
2. 在 \dubbo\dubbo-simple\dubbo-monitor-simple 目录下将项目进行打包，打包之前，也可以先进行修改配置：\dubbo\dubbo-simple\dubbo-monitor-simple\src\main\assembly\conf\dubbo.properties
# 打包
mvn clean package -Dmaven.test.skip=true
3. 打包完成，在target目录，注意，打包后的文件是dubbo-monitor-simple-2.5.10-assembly.tar.gz 而不是jar，直接运行jar是跑不起来的，接下来就将压缩包进行解压，如果你在上一步没有修改配置，需要在此修改配置，在conf目录下修改dubbo.properties
# 注册中心地址
dubbo.registry.address=zookeeper://192.168.0.132:2181?backup=192.168.0.133:2181,192.168.0.134:2181
# 其他服务与监控中心的通信端口
dubbo.protocol.port=7070
# 监控中心web访问端口
dubbo.jetty.port=8081
4. 启动，在bin目录下已经写好的了启动脚本
5. 服务配置，需要在服务中配置 dubbo:monitor 节点，具体的参考下一节
<dubbo:monitor protocol="registry"/>
6. 访问web页面，启动后在浏览器中进行访问：http://localhost:8081/
Dubbo 入门案例
服务提供者
1. 导入jar包
<dependency>
<groupId>org.apache.dubbogroupId>
<artifactId>dubboartifactId>
<version>3.0.7version>
dependency>
<dependency>
<groupId>org.apache.dubbogroupId>
<artifactId>dubbo-dependencies-zookeeperartifactId>
<version>3.0.7version>
<type>pomtype>
dependency>
2. 配置服务提供者，在资源目录下创建 provider.xml 文件
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:dubbo="http://code.alibabatech.com/schema/dubbo"
xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://code.alibabatech.com/schema/dubbo http://code.alibabatech.com/schema/dubbo/dubbo.xsd">
<dubbo:application name="dubbo-provider-demo"/>
<dubbo:registry protocol="zookeeper" address="192.168.0.132:2181,192.168.0.133:2181,192.168.0.134:2181"/>
<dubbo:protocol name="dubbo" port="20881"/>
<dubbo:service interface="com.hxz.dubbo.service.IProviderDemoService" ref="prodiverDemoService"/>
<bean id="prodiverDemoService" class="com.hxz.dubbo.service.ProdiverDemoService"/>
<dubbo:monitor protocol="registry"/>
beans>
3. 启动，由于使用的是普通maven项目，需要使用上下文进行启动
public static void main(String[] args) throws IOException {
ClassPathXmlApplicationContext context = new ClassPathXmlApplicationContext("provider.xml");
context.start();
System.in.read();
}
4. 测试服务提供者，在监控中心的控制页面，可以看到服务提供者已经注册到dubbo里面了
服务消费者
1. 导入jar包
<dependency>
<groupId>org.apache.dubbogroupId>
<artifactId>dubboartifactId>
<version>3.0.7version>
dependency>
<dependency>
<groupId>org.apache.dubbogroupId>
<artifactId>dubbo-dependencies-zookeeperartifactId>
<version>3.0.7version>
<type>pomtype>
dependency>
2. 配置服务消费者，在资源目录下创建 consumer.xml
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:dubbo="http://code.alibabatech.com/schema/dubbo"
xmlns:context="http://www.springframework.org/schema/context"
xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://code.alibabatech.com/schema/dubbo http://code.alibabatech.com/schema/dubbo/dubbo.xsd http://www.springframework.org/schema/context https://www.springframework.org/schema/context/spring-context.xsd">
<context:component-scan base-package="com.hxz.dubbo.service"/>
<dubbo:application name="dubbo-consumer-demo"/>
<dubbo:registry address="zookeeper://192.168.0.132:2181,192.168.0.133:2181,192.168.0.134:2181"/>
<dubbo:consumer timeout="3000"/>
<dubbo:reference id="providerService" interface="com.hxz.dubbo.service.IProviderDemoService"/>
<dubbo:monitor protocol="registry"/>
beans>
3. 测试，消费者去远程调用服务提供者，相关的接口代码请查看Gitee源码
public static void main(String[] args) throws IOException {
ClassPathXmlApplicationContext context = new ClassPathXmlApplicationContext("consumer.xml");
context.start();
ConsumerDemoService service = context.getBean(ConsumerDemoService.class);
List<DemoEntity> list = service.list();
list.forEach(System.out::println);
System.in.read();
}
SpringBoot 整合 Dubbo
服务提供者
1. 导入jar，我是用的是apache的整合包而不是alibaba的整合包，注意两者区别还是挺大的，alibaba的整合包网上的教程还是挺多，但是apache的整合包教程就很少
<dependency>
<groupId>org.apache.dubbogroupId>
<artifactId>dubbo-spring-boot-starterartifactId>
<version>3.0.7version>
dependency>
<dependency>
<groupId>org.apache.dubbogroupId>
<artifactId>dubbo-dependencies-zookeeperartifactId>
<version>3.0.7version>
<type>pomtype>
<exclusions>
<exclusion>
<groupId>org.slf4jgroupId>
<artifactId>slf4j-log4j12artifactId>
exclusion>
exclusions>
dependency>
2. 配置dubbo
server:
port: 8001
spring:
application:
name: dubbo-provider-boot-demo
dubbo:
# 应用相关
application:
name: ${spring.application.name} # dubbo 应用名称
# 注册中心相关
registry:
protocol: zookeeper # 注册协议 zookeeper nacos multicast redis
address: 192.168.0.132:2181,192.168.0.133:2181,192.168.0.134:2181 # 注册地址
register: true
# 通信规则
protocol:
name: dubbo # 通信协议
port: 20881 # 通信端口
# 监控中心
monitor:
protocol: register # 协议
3. 测试demo接口代码
@Service
@DubboService(group = "${spring.application.name}",version = "1.0.0") // 暴露服务, 注意目前3.0+版本需要指定组和版本，否则在web控制中心会莫名其妙的不显示了
public class ProdiverDemoService implements IProviderDemoService {
@Override
public List<DemoEntity> list() {
return Arrays.asList(new DemoEntity(UUID.randomUUID().toString().replace("-", ""), "张三", new Random().nextInt(100)),
new DemoEntity(UUID.randomUUID().toString().replace("-", ""), "李四", new Random().nextInt(100)),
new DemoEntity(UUID.randomUUID().toString().replace("-", ""), "王五", new Random().nextInt(100)));
}
}
4. 开启dubbo功能并启动测试，使用 @EnableDubbo 注解开启，启动后在web控制中心可以看到注册的服务
@SpringBootApplication
@EnableDubbo // 开启dubbo功能
public class DubboProviderBootDemoApplication {
public static void main(String[] args) {
SpringApplication.run(DubboProviderBootDemoApplication.class, args);
}
}
服务消费者
1. 导入jar包
<dependency>
<groupId>org.apache.dubbogroupId>
<artifactId>dubbo-spring-boot-starterartifactId>
<version>3.0.7version>
dependency>
<dependency>
<groupId>org.apache.dubbogroupId>
<artifactId>dubbo-dependencies-zookeeperartifactId>
<version>3.0.7version>
<type>pomtype>
<exclusions>
<exclusion>
<groupId>org.slf4jgroupId>
<artifactId>slf4j-log4j12artifactId>
exclusion>
exclusions>
dependency>
<dependency>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-starter-webartifactId>
dependency>
2. 配置dubbo
server:
port: 8002
spring:
application:
name: dubbo-consumer-boot-demo
dubbo:
# 应用相关
application:
name: ${spring.application.name} # dubbo 应用名称
# 注册中心相关
registry:
protocol: zookeeper # 注册协议 zookeeper nacos multicast redis
address: 192.168.0.132:2181,192.168.0.133:2181,192.168.0.134:2181 # 注册地址
register: true
# 监控中心
monitor:
protocol: register # 协议
3. 通过 @DubboReference 调用远程，注意：调用远程接口的组和版本如果配置了就要保持一致
@Service
public class ConsumerDemoService implements IConsumerDemoService {
@DubboReference(group = "dubbo-provider-boot-demo",version = "1.0.0") // 远程调用服务
private IProviderDemoService providerService;
@Override
public List<DemoEntity> list() {
return providerService.list();
}
}
4. 开启dubbo功能进行测试
@SpringBootApplication
@EnableDubbo // 开启dubbo功能
public class DubboConsumerBootDemoApplication {
public static void main(String[] args) {
SpringApplication.run(DubboConsumerBootDemoApplication.class, args);
}
}
通过postman调用controller接口，成功获取返回值
Dubbo 高可用
1. 注册中心宕机
当注册中心宕机后，经过测试发现，还可以消费dubbo暴露的服务；服务提供者和消费者可以通过本地缓存通信，即当消费者调用了一次提供者，会在消费者本地缓存提供者的详细信息，因此注册中心宕机后可以跳过注册中直接调用提供者。除此之外，其他的如监控中心宕机也不影响
- 监控中心宕机不影响使用，只会丢失部分采样数据
- 数据库宕机后，注册中心仍能通过缓存提供服务列表查询，但不能注册新服务
- 注册中心集群中任意宕机一台，会自动切换到另一台
- 注册中心全部宕机后，服务提供者和消费者可以通过本地缓存通信
- 服务提供者无状态，任意一台宕机后，不影响使用
- 服务提供者全部宕机后，服务消费者将无法使用，并无限次重连等待服务提供者恢复
Dubbo 直连
Dubbo 直连可以绕过注册中心，即不使用注册中心直接调用dubbo的其他服务，通过 @DubboReference 的 url 属性直接连接服务提供者的通信地址
注意：使用dubbo直连时，需要将注册中心相关的配置注释掉，并且不建议在生产环境使用
@Service
public class ConsumerDemoService implements IConsumerDemoService {
@DubboReference(group = "dubbo-provider-boot-demo", version = "1.0.0",url = "127.0.0.1:20881") // 远程调用服务, 直接连接服务提供者
private IProviderDemoService providerService;
@Override
public List<DemoEntity> list() {
return providerService.list();
}
}
Dubbo负载均衡
集群模式下，Dubbo提供了多种负载均衡策略，默认为Random 随机调用。
| 算法 | 特性 | 备注 |
|---|---|---|
| RandomLoadBalance | 加权随机 | 默认算法，默认权重相同 |
| RoundRobinLoadBalance | 加权轮询 | 借鉴于 Nginx 的平滑加权轮询算法，默认权重相同 |
| LeastActiveLoadBalance | 最少活跃优先 + 加权随机 | 背后是能者多劳的思想 |
| ShortestResponseLoadBalance | 最短响应优先 + 加权随机 | 更加关注响应速度 |
| ConsistentHashLoadBalance | 一致性 Hash | 确定的入参，确定的提供者，适用于有状态请求 |
Random
- 加权随机，按权重设置随机概率。
- 在一个截面上碰撞的概率高，但调用量越大分布越均匀，而且按概率使用权重后也比较均匀，有利于动态调整提供者权重。
- 缺点：存在慢的提供者累积请求的问题，比如：第二台机器很慢，但没挂，当请求调到第二台时就卡在那，久而久之，所有请求都卡在调到第二台上。
RoundRobin
- 加权轮询，按公约后的权重设置轮询比率，循环调用节点
- 缺点：同样存在慢的提供者累积请求的问题。
LeastActive
- 加权最少活跃调用优先，活跃数越低，越优先调用，相同活跃数的进行加权随机。活跃数指调用前后计数差（针对特定提供者：请求发送数 - 响应返回数），表示特定提供者的任务堆积量，活跃数越低，代表该提供者处理能力越强。
- 使慢的提供者收到更少请求，因为越慢的提供者的调用前后计数差会越大；相对的，处理能力越强的节点，处理更多的请求。
ShortestResponse
- 加权最短响应优先，在最近一个滑动窗口中，响应时间越短，越优先调用。相同响应时间的进行加权随机。
- 使得响应时间越快的提供者，处理更多的请求。
- 缺点：可能会造成流量过于集中于高性能节点的问题。
ConsistentHash
- 一致性 Hash，相同参数的请求总是发到同一提供者。
- 当某一台提供者挂时，原本发往该提供者的请求，基于虚拟节点，平摊到其它提供者，不会引起剧烈变动。
- 算法参见：Consistent Hashing | WIKIPEDIA
- 缺省只对第一个参数 Hash，如果要修改，请配置
- 缺省用 160 份虚拟节点，如果要修改，请配置
从源码中我们可以查到dubbo默认的负载均衡机制是随机(random)，Apache 为我们提供了5种机制
示例：服务提供者
// 注解方式
@DubboService(group = "${spring.application.name}",version = "1.0.0",loadbalance = "leastactive") // 暴露服务.// 轮询值loadbalance ：consistenthash leastactive random roundrobin shortestresponse
public class ProdiverDemoService implements IProviderDemoService {}
// xml 配置方式
<!-- 暴露的接口服务，ref指向服务的实现 轮询值loadbalance ：consistenthash leastactive random roundrobin shortestresponse -->
<dubbo:service interface="com.hxz.dubbo.service.IProviderDemoService" ref="prodiverDemoService" loadbalance="leastactive"/>
示例：服务消费者
// 注解方式
// 轮询值loadbalance ：consistenthash leastactive random roundrobin shortestresponse
@DubboReference(group = "dubbo-provider-boot-demo", version = "1.0.0",loadbalance = "roundrobin") // 远程调用服务
private IProviderDemoService providerService;
// xml 配置
<!-- 声明需要调用的远程服务接口, 生成远程服务的代理 轮询值loadbalance ：consistenthash leastactive random roundrobin shortestresponse -->
<dubbo:reference id="providerService" interface="com.hxz.dubbo.service.IProviderDemoService" loadbalance="consistenthash"/>
关于更多的用法可以参考官方文档：https://dubbo.apache.org/zh/docs/advanced/
源码地址：https://gitee.com/peachtec/hxz-study