Dubbo学习小记
前言:
Dubbo是什么
Dubbo是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及SOA服务治理方案。其核心部分包括:
- 远程通讯:提供对多种基于长连接的NIO框架抽象封装,包括多种线程模型、序列化、"请求-响应"模式的信息交换方案
- 集群容错:提供基于借口方法的透明远程过程调用,包括多协议支持、软负载均衡、失败容错、地址路由、动态配置等集群支持
- 自动发现:基于注册中心目录服务,使服务消费方能动态地查找服务提供方,使地址透明,使服务提供方可以平滑增加或减少机器
注解:RPC是什么:
- RPC(Remote Procedure Call)—远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。
Dubbo能做什么
Dubbo功能强大,总结下来,它大致可以做以下几件事:
- 透明化的远程方法调用,就像调用本地方法一样调用远程方法,只需要简单配置,没有任何API侵入
- 软负载均衡及容错机制,可在内网替代F5等硬件负载均衡器,降低成本、减少多拿点
- 服务自动注册与发现,不再需要写死服务提供方地址,注册中心基于接口名查询服务提供者的IP地址,并且能够平滑添加或删除服务提供者
Dubbo架构图
这是最重要的,理解Dubbo的架构图是理解Dubbo的第一步,我从Dubbo官网手册上截了一下Dubbo架构图:
在接下来的讲解之前,说明一个概念:所谓SOA也好,分布式服务框架也好,不是服务消费者从中间件(一般都是Zookeeper)上去拿数据,而是服务消费者从中间件上拿到可用的服务生产者的集群地址,再从集群地址中选出一个进行直连。
接下来认识一下图中的结点:
- Provider:暴露服务的服务提供方,或者直白点说就是服务生产者
- Consumer:调用远程服务的服务消费方,也就是服务消费者
- Registry:服务注册与发现的注册中心
- Monitor:统计服务的调用次数和调用时间的监控中心
- Container:服务(生产者)运行容器
图中已经有了调用步骤了,接着对步骤进行说明:
- 0:服务容器负责启动、加载、运行服务提供者(生产者)
- 1:服务提供者(生产者)在启动时,向注册中心注册自己提供的服务
- 2:服务消费者在启动时,向注册中心订阅自己所需的服务
- 3:注册中心返回服务提供者地址列表给消费者,如果有变更,注册中细腻将基于长连接推送变更数据给消费者
- 4:服务消费者从服务生产者地址列表中,基于软负载均衡算法,选择一台提供者(生产者)进行调用,如果调用失败,再选另一台调用
- 5:服务消费者和提供者(生产者),在内存中累计调用次数和调用时间,定时每分钟发送一次统计数据到监控中心
Dubbo用法
Dubbo采用全Spring配置方式,透明化接入应用,对应用没有任何API侵入(这句话的意思是应用程序不会、不需要手动调用Dubbo的任何类和任何接口),只需用Spring加载Dubbo的配置即可(意思是对Dubbo的使用只需要写Spring配置文件或注解),Dubbo基于Spring的Schema扩展进行加载。
如果不想使用Spring配置,而希望通过API的方式进行调用,可以自己看一下官方手册Dubbo API配置,但是,这种做法十分不推荐。
下面简单说明一下Dubbo的用法,首先要定义服务生产者的接口及其实现,那么定义一个接口(该接口需要单独打包,在生产者和消费者之间共享):
package com.xrq.dubbo.demo; public interface DemoService { String sayHello(String name); }
|
在服务生产者处实现接口(对服务消费者隐藏接口实现细节):
package com.xrq.dubbo.demo.provider; import com.xrq.dubbo.demo.DemoService; public class DemoServiceImpl implements DemoService { public String sayHello(String name) { return "Hello " + name; } }
|
写一个provider.xml,在服务生产者使用Spring暴露服务:
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:dubbo="http://code.alibabatech.com/schema/dubbo" xsi:schemaLocation="http://www.springframework.org/schema/beans
在服务消费者处写一个consumer.xml引用远程服务:
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:dubbo="http://code.alibabatech.com/schema/dubbo" xsi:schemaLocation="http://www.springframework.org/schema/beans
服务消费者处只要通过Spring拿到demoService,即可像使用本地接口一样使用DemoService这个接口里面的方法:
import org.springframework.context.support.ClassPathXmlApplicationContext;import com.xrq.dubbo.demo.DemoService; public class Consumer { public static void main(String[] args) throws Exception { ClassPathXmlApplicationContext context = context.start();
DemoService demoService = (DemoService)context.getBean("demoService"); // 获取远程服务代理 String hello = demoService.sayHello("world"); // 执行远程方法 System.out.println(hello); // 显示调用结果 } }
|
看到整个过程中:
1、没有任何Dubbo的代码,使用Dubbo的时候全部都是Spring配置,这就是前面提到的Dubbo对应用没有任何API侵入
2、不需要考虑底层线程模型、序列化、反序列化、url解析等问题,这些都是Dubbo底层做好的
Dubbo常用标签
首先说一个优先级的问题,在dubbo中比如timeout、retries、loadbalance等参数可以在多个标签内同时配置,它们之间的优先级,dubbo手册上是这么说的:
OK,下面罗列一些Dubbo常用的,也就是说每个项目的Dubbo的xml文件中基本都会出现的标签,并以表格形式列举标签中常见的可用属性。
1、
属 性 |
类 型 |
是否必填 |
缺省值 |
描 述 |
interface |
class |
必填 |
无 |
服务接口全路径 |
ref |
object |
必填 |
无 |
服务对象实现引用 |
version |
string |
可选 |
0.0.0 |
服务版本,建议使用两位数字版本如1.0,通常在接口不兼容时版本号才需要升级 |
timeout |
int |
可选 |
1000 |
远程服务调用超时时间(毫秒) |
retries |
int |
可选 |
2 |
远程服务调用重试次数,不包括第一次调用,不需要重试请设为0 |
connections |
int |
可选 |
100 |
每个生产者的最大连接数,短连接协议如rmi,表示限制连接数;长连接协议如dubbo表示建立的长连接个数 |
loadbalance |
string |
可选 |
random |
负载均衡策略,可选值为:random(随机)、roundrobin(轮询)、leastactive(最少活跃调用) |
async |
boolean |
可选 |
false |
是否缺省异步执行,不可靠的异步,只是忽略返回值,不阻塞执行线程 |
register |
boolean |
可选 |
true |
该协议的服务是否注册到注册中心 |
2、
属 性 |
类 型 |
是否必填 |
缺省值 |
描 述 |
id |
string |
必填 |
无 |
服务引用beanId |
interface |
class |
必填 |
无 |
服务接口全路径 |
version |
string |
可选 |
无 |
服务版本,与服务生产者的版本一致 |
timeout |
long |
可选 |
使用 |
服务方法调用超时时间(毫秒) |
retries |
int |
可选 |
使用 |
远程服务调用重试次数,不包括第一次调用,不需要重试请设为0 |
connections |
int |
可选 |
使用 |
每个生产者的最大连接数,短连接协议如rmi,表示限制连接数;长连接协议如dubbo表示建立的长连接个数 |
loadbalance |
string |
可选 |
使用 |
负载均衡策略,可选值为:random(随机)、roundrobin(轮询)、leastactive(最少活跃调用) |
async |
boolean |
可选 |
使用 |
是否缺省异步执行,不可靠的异步,只是忽略返回值,不阻塞执行线程 |
check |
boolean |
可选 |
使用 |
启动时检查服务生产者是否存在,true则报错,false则忽略 |
url |
string |
可选 |
无 |
点对点直连服务提供者地址,将绕过注册中心,比如"dubbo://localhost:20890",这个比较多的使用在测试中 |
protocol |
string |
可选 |
无 |
只调用指定协议的服务生产者,其他协议忽略 |
3、
属 性 |
类 型 |
是否必填 |
缺省值 |
描 述 |
id |
string |
可选 |
dubbo |
协议beanId, |
name |
sring |
必填 |
dubbo |
协议名称 |
port |
int |
可选 |
dubbo->20800,rmi->1099,http->80,hessian->80 如果配置为-1或未配置,则会分配一个没有被占用的端口 |
服务端口 |
host |
string |
可选 |
自动查找本机ip |
为空则自动查找本机ip,建议不配置让Dubbo自动获取本机ip |
threadpool |
string |
可选 |
fixed |
线程池类型,可选fixed/cached |
threads |
int |
可选 |
100 |
服务线程池大小(固定大小) |
serialization |
string |
可选 |
dubbo->hession2,rmi->java,http->json |
协议序列化方式,当协议支持多种序列化方式时使用 |
register |
boolean |
可选 |
true |
该协议的服务是否注册到注册中心 |
4、
属 性 |
类 型 |
是否必填 |
缺省值 |
描 述 |
id |
string |
可选 |
无 |
注册中心引用beanId,可在 |
address |
string |
必填 |
无 |
注册中心服务地址,如果地址没有端口缺省为9090,同一个集群内的多个地址用逗号分隔,如:ip:port,ip:port,不同的 集群注册中心请配置多个 |
protocol |
string |
可选 |
dubbo |
注册中心地址协议,支持dubbo、http、local三种协议,分别表示dubbo地址、http地址和本地注册中心 |
port |
int |
可选 |
9090 |
注册中心缺省端口,当address没有带端口时使用此端口作为缺省值 |
username |
string |
可选 |
无 |
登陆注册中心用户名,如果注册中心不需要验证可不填 |
password |
string |
可选 |
无 |
登陆注册中心密码,如果注册中心不需要验证可不填 |
transport |
string |
可选 |
netty |
网络传输方式,可选mina、netty |
timeout |
int |
可选 |
5000 |
注册中心请求超时时间(毫秒) |
file |
string |
可选 |
无 |
使用文件缓存注册中心地址列表以及服务提供者列表,应用重启时将基于此文件恢复,注意两个注册中心不能使用同一文件存储 |
check |
boolean |
可选 |
true |
注册中心不存在时,是否报错 |
register |
boolean |
可选 |
true |
是否向此注册中心注册服务,如果设为false,将只订阅,不注册 |
subscribe |
boolean |
可选 |
true |
是否向此注册中心订阅服务,如果设为false,将只注册,不订阅 |
5、
属 性 |
类 型 |
是否必填 |
缺省值 |
描 述 |
method |
string |
必填 |
无 |
方法名 |
timeout |
int |
可选 |
缺省为 |
方法调用超时时间(毫秒) |
retires |
int |
可选 |
缺省为 |
远程服务调用重试次数,不包括第一次调用,不需要重试请设为0 |
loadbalance |
string |
可选 |
缺省为 |
负载均衡策略,可选值为:random(随机)、roundrobin(轮询)、leastactive(最少活跃调用) |
async |
boolean |
可选 |
缺省为 |
是否异步执行,不可靠异步,只是忽略返回值,不阻塞执行线程 |
actives |
int |
可选 |
0 |
每服务消费者最大并发调用限制 |
executes |
int |
可选 |
0 |
每服务每方法最大使用线程数限制,此属性只在 |
另外,还有
Dubbo协议dubbo://
前面有说到一个Dubbo协议,下面来看一下Dubbo协议。
Dubbo协议Dubbo的缺省协议,使用基于mina1.1.7+hessian3.2.1的tbremoting交互。
- 连接个数:单连接
- 连接方式:长连接
- 传输协议:TCP
- 传输方式:NIO异步传输
- 序列化:Hessian二进制序列化
- 适用范围:传入传出参数数据包较小(建议小于100K),消费者比提供者个数多,单一消费者无法压满提供者,尽量不要使用dubbo协议传输大文件或超大字符串
- 使用场景:常规远程服务方法调用
从上面的适用范围总结,dubbo适合小数据量大并发的服务调用,以及消费者机器远大于生产者机器数的情况,不适合传输大数据量的服务比如文件、视频等,除非请求量很低。
另外,Dubbo手册还给开发者列出了Dubbo协议使用的约束:
- 参数及返回值需要实现Serializable接口
- 参数及返回值自定义实现List、Map、Number、Date、Calendar等接口,只能用JDK自带的实现,因为hessian会做特殊处理,自定义实现类中的属性值都会丢失
Dubbo学习小记
前言:
Dubbo是什么
Dubbo是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及SOA服务治理方案。其核心部分包括:
- 远程通讯:提供对多种基于长连接的NIO框架抽象封装,包括多种线程模型、序列化、"请求-响应"模式的信息交换方案
- 集群容错:提供基于借口方法的透明远程过程调用,包括多协议支持、软负载均衡、失败容错、地址路由、动态配置等集群支持
- 自动发现:基于注册中心目录服务,使服务消费方能动态地查找服务提供方,使地址透明,使服务提供方可以平滑增加或减少机器
注解:RPC是什么:
- RPC(Remote Procedure Call)—远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。
Dubbo能做什么
Dubbo功能强大,总结下来,它大致可以做以下几件事:
- 透明化的远程方法调用,就像调用本地方法一样调用远程方法,只需要简单配置,没有任何API侵入
- 软负载均衡及容错机制,可在内网替代F5等硬件负载均衡器,降低成本、减少多拿点
- 服务自动注册与发现,不再需要写死服务提供方地址,注册中心基于接口名查询服务提供者的IP地址,并且能够平滑添加或删除服务提供者
Dubbo架构图
这是最重要的,理解Dubbo的架构图是理解Dubbo的第一步,我从Dubbo官网手册上截了一下Dubbo架构图:
在接下来的讲解之前,说明一个概念:所谓SOA也好,分布式服务框架也好,不是服务消费者从中间件(一般都是Zookeeper)上去拿数据,而是服务消费者从中间件上拿到可用的服务生产者的集群地址,再从集群地址中选出一个进行直连。
接下来认识一下图中的结点:
- Provider:暴露服务的服务提供方,或者直白点说就是服务生产者
- Consumer:调用远程服务的服务消费方,也就是服务消费者
- Registry:服务注册与发现的注册中心
- Monitor:统计服务的调用次数和调用时间的监控中心
- Container:服务(生产者)运行容器
图中已经有了调用步骤了,接着对步骤进行说明:
- 0:服务容器负责启动、加载、运行服务提供者(生产者)
- 1:服务提供者(生产者)在启动时,向注册中心注册自己提供的服务
- 2:服务消费者在启动时,向注册中心订阅自己所需的服务
- 3:注册中心返回服务提供者地址列表给消费者,如果有变更,注册中细腻将基于长连接推送变更数据给消费者
- 4:服务消费者从服务生产者地址列表中,基于软负载均衡算法,选择一台提供者(生产者)进行调用,如果调用失败,再选另一台调用
- 5:服务消费者和提供者(生产者),在内存中累计调用次数和调用时间,定时每分钟发送一次统计数据到监控中心
Dubbo用法
Dubbo采用全Spring配置方式,透明化接入应用,对应用没有任何API侵入(这句话的意思是应用程序不会、不需要手动调用Dubbo的任何类和任何接口),只需用Spring加载Dubbo的配置即可(意思是对Dubbo的使用只需要写Spring配置文件或注解),Dubbo基于Spring的Schema扩展进行加载。
如果不想使用Spring配置,而希望通过API的方式进行调用,可以自己看一下官方手册Dubbo API配置,但是,这种做法十分不推荐。
下面简单说明一下Dubbo的用法,首先要定义服务生产者的接口及其实现,那么定义一个接口(该接口需要单独打包,在生产者和消费者之间共享):
package com.xrq.dubbo.demo; public interface DemoService { String sayHello(String name); }
|
在服务生产者处实现接口(对服务消费者隐藏接口实现细节):
package com.xrq.dubbo.demo.provider; import com.xrq.dubbo.demo.DemoService; public class DemoServiceImpl implements DemoService { public String sayHello(String name) { return "Hello " + name; } }
|
写一个provider.xml,在服务生产者使用Spring暴露服务:
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:dubbo="http://code.alibabatech.com/schema/dubbo" xsi:schemaLocation="http://www.springframework.org/schema/beans
在服务消费者处写一个consumer.xml引用远程服务:
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:dubbo="http://code.alibabatech.com/schema/dubbo" xsi:schemaLocation="http://www.springframework.org/schema/beans
服务消费者处只要通过Spring拿到demoService,即可像使用本地接口一样使用DemoService这个接口里面的方法:
import org.springframework.context.support.ClassPathXmlApplicationContext;import com.xrq.dubbo.demo.DemoService; public class Consumer { public static void main(String[] args) throws Exception { ClassPathXmlApplicationContext context = context.start();
DemoService demoService = (DemoService)context.getBean("demoService"); // 获取远程服务代理 String hello = demoService.sayHello("world"); // 执行远程方法 System.out.println(hello); // 显示调用结果 } }
|
看到整个过程中:
1、没有任何Dubbo的代码,使用Dubbo的时候全部都是Spring配置,这就是前面提到的Dubbo对应用没有任何API侵入
2、不需要考虑底层线程模型、序列化、反序列化、url解析等问题,这些都是Dubbo底层做好的
Dubbo常用标签
首先说一个优先级的问题,在dubbo中比如timeout、retries、loadbalance等参数可以在多个标签内同时配置,它们之间的优先级,dubbo手册上是这么说的:
OK,下面罗列一些Dubbo常用的,也就是说每个项目的Dubbo的xml文件中基本都会出现的标签,并以表格形式列举标签中常见的可用属性。
1、
属 性 |
类 型 |
是否必填 |
缺省值 |
描 述 |
interface |
class |
必填 |
无 |
服务接口全路径 |
ref |
object |
必填 |
无 |
服务对象实现引用 |
version |
string |
可选 |
0.0.0 |
服务版本,建议使用两位数字版本如1.0,通常在接口不兼容时版本号才需要升级 |
timeout |
int |
可选 |
1000 |
远程服务调用超时时间(毫秒) |
retries |
int |
可选 |
2 |
远程服务调用重试次数,不包括第一次调用,不需要重试请设为0 |
connections |
int |
可选 |
100 |
每个生产者的最大连接数,短连接协议如rmi,表示限制连接数;长连接协议如dubbo表示建立的长连接个数 |
loadbalance |
string |
可选 |
random |
负载均衡策略,可选值为:random(随机)、roundrobin(轮询)、leastactive(最少活跃调用) |
async |
boolean |
可选 |
false |
是否缺省异步执行,不可靠的异步,只是忽略返回值,不阻塞执行线程 |
register |
boolean |
可选 |
true |
该协议的服务是否注册到注册中心 |
2、
属 性 |
类 型 |
是否必填 |
缺省值 |
描 述 |
id |
string |
必填 |
无 |
服务引用beanId |
interface |
class |
必填 |
无 |
服务接口全路径 |
version |
string |
可选 |
无 |
服务版本,与服务生产者的版本一致 |
timeout |
long |
可选 |
使用 |
服务方法调用超时时间(毫秒) |
retries |
int |
可选 |
使用 |
远程服务调用重试次数,不包括第一次调用,不需要重试请设为0 |
connections |
int |
可选 |
使用 |
每个生产者的最大连接数,短连接协议如rmi,表示限制连接数;长连接协议如dubbo表示建立的长连接个数 |
loadbalance |
string |
可选 |
使用 |
负载均衡策略,可选值为:random(随机)、roundrobin(轮询)、leastactive(最少活跃调用) |
async |
boolean |
可选 |
使用 |
是否缺省异步执行,不可靠的异步,只是忽略返回值,不阻塞执行线程 |
check |
boolean |
可选 |
使用 |
启动时检查服务生产者是否存在,true则报错,false则忽略 |
url |
string |
可选 |
无 |
点对点直连服务提供者地址,将绕过注册中心,比如"dubbo://localhost:20890",这个比较多的使用在测试中 |
protocol |
string |
可选 |
无 |
只调用指定协议的服务生产者,其他协议忽略 |
3、
属 性 |
类 型 |
是否必填 |
缺省值 |
描 述 |
id |
string |
可选 |
dubbo |
协议beanId, |
name |
sring |
必填 |
dubbo |
协议名称 |
port |
int |
可选 |
dubbo->20800,rmi->1099,http->80,hessian->80 如果配置为-1或未配置,则会分配一个没有被占用的端口 |
服务端口 |
host |
string |
可选 |
自动查找本机ip |
为空则自动查找本机ip,建议不配置让Dubbo自动获取本机ip |
threadpool |
string |
可选 |
fixed |
线程池类型,可选fixed/cached |
threads |
int |
可选 |
100 |
服务线程池大小(固定大小) |
serialization |
string |
可选 |
dubbo->hession2,rmi->java,http->json |
协议序列化方式,当协议支持多种序列化方式时使用 |
register |
boolean |
可选 |
true |
该协议的服务是否注册到注册中心 |
4、
属 性 |
类 型 |
是否必填 |
缺省值 |
描 述 |
id |
string |
可选 |
无 |
注册中心引用beanId,可在 |
address |
string |
必填 |
无 |
注册中心服务地址,如果地址没有端口缺省为9090,同一个集群内的多个地址用逗号分隔,如:ip:port,ip:port,不同的 集群注册中心请配置多个 |
protocol |
string |
可选 |
dubbo |
注册中心地址协议,支持dubbo、http、local三种协议,分别表示dubbo地址、http地址和本地注册中心 |
port |
int |
可选 |
9090 |
注册中心缺省端口,当address没有带端口时使用此端口作为缺省值 |
username |
string |
可选 |
无 |
登陆注册中心用户名,如果注册中心不需要验证可不填 |
password |
string |
可选 |
无 |
登陆注册中心密码,如果注册中心不需要验证可不填 |
transport |
string |
可选 |
netty |
网络传输方式,可选mina、netty |
timeout |
int |
可选 |
5000 |
注册中心请求超时时间(毫秒) |
file |
string |
可选 |
无 |
使用文件缓存注册中心地址列表以及服务提供者列表,应用重启时将基于此文件恢复,注意两个注册中心不能使用同一文件存储 |
check |
boolean |
可选 |
true |
注册中心不存在时,是否报错 |
register |
boolean |
可选 |
true |
是否向此注册中心注册服务,如果设为false,将只订阅,不注册 |
subscribe |
boolean |
可选 |
true |
是否向此注册中心订阅服务,如果设为false,将只注册,不订阅 |
5、
属 性 |
类 型 |
是否必填 |
缺省值 |
描 述 |
method |
string |
必填 |
无 |
方法名 |
timeout |
int |
可选 |
缺省为 |
方法调用超时时间(毫秒) |
retires |
int |
可选 |
缺省为 |
远程服务调用重试次数,不包括第一次调用,不需要重试请设为0 |
loadbalance |
string |
可选 |
缺省为 |
负载均衡策略,可选值为:random(随机)、roundrobin(轮询)、leastactive(最少活跃调用) |
async |
boolean |
可选 |
缺省为 |
是否异步执行,不可靠异步,只是忽略返回值,不阻塞执行线程 |
actives |
int |
可选 |
0 |
每服务消费者最大并发调用限制 |
executes |
int |
可选 |
0 |
每服务每方法最大使用线程数限制,此属性只在 |
另外,还有
Dubbo协议dubbo://
前面有说到一个Dubbo协议,下面来看一下Dubbo协议。
Dubbo协议Dubbo的缺省协议,使用基于mina1.1.7+hessian3.2.1的tbremoting交互。
- 连接个数:单连接
- 连接方式:长连接
- 传输协议:TCP
- 传输方式:NIO异步传输
- 序列化:Hessian二进制序列化
- 适用范围:传入传出参数数据包较小(建议小于100K),消费者比提供者个数多,单一消费者无法压满提供者,尽量不要使用dubbo协议传输大文件或超大字符串
- 使用场景:常规远程服务方法调用
从上面的适用范围总结,dubbo适合小数据量大并发的服务调用,以及消费者机器远大于生产者机器数的情况,不适合传输大数据量的服务比如文件、视频等,除非请求量很低。
另外,Dubbo手册还给开发者列出了Dubbo协议使用的约束:
- 参数及返回值需要实现Serializable接口
- 参数及返回值自定义实现List、Map、Number、Date、Calendar等接口,只能用JDK自带的实现,因为hessian会做特殊处理,自定义实现类中的属性值都会丢失