在刚才的案例中,我们启动了一个service-provider,然后通过DiscoveryClient来获取服务实例信息,然后获取ip和端口来访问。
但是实际环境中,往往会开启很多个itcast-service-provider的集群。此时获取的服务列表中就会有多个,到底该访问哪一个呢?
一般这种情况下我们就需要编写负载均衡算法,在多个实例列表中进行选择。
不过Eureka中已经帮我们集成了负载均衡组件:Ribbon,简单修改代码即可使用。
什么是Ribbon:
首先启动两个service-provider实例 一个8081 一个8082
因为Eureka中已经集成了Ribbon,所以我们无需引入新的依赖,直接修改代码。
修改service-consumer的引导类,在RestTemplate的配置方法上添加@LoadBalanced
注解:
@Bean
@LoadBalanced //开启负载均衡
public RestTemplate restTemplate(){
return new RestTemplate();
}
修改调用方式,不再手动获取ip和端口,而是直接通过服务名称调用:
@Controller
@RequestMapping("consumer/user")
public class UserController {
@Autowired
private RestTemplate restTemplate;
// @Autowired
// private DiscoveryClient discoveryClient; // eureka客户端,可以获取到eureka中服务的信息
@ResponseBody
@GetMapping
public User queryUserById(@RequestParam Long id){
//根据服务名称获取服务实例,有可能是集群,所以是service集合
// List instances = discoveryClient.getInstances("service-provider");
//因为只有一个service-provider 所以获取第一个实例
// ServiceInstance serviceInstance = instances.get(0);
//获取ip和端口信息,拼接成服务地址
String baseUrl = "http://service-provider/user/" + id;
User user = this.restTemplate.getForObject(baseUrl, User.class);
return user;
}
}
Ribbon默认的负载均衡策略是简单的轮询
测试
@RunWith(SpringRunner.class)
@SpringBootTest(classes = ServiceConsumerApplication.class)
public class LoadBalanceTest {
@Autowired
private RibbonLoadBalancerClient client;
@Test
public void testLoadBalance(){
for (int i = 0; i <50 ; i++) {
ServiceInstance instance = this.client.choose("service-provider");
System.out.println(instance.getHost()+":"+instance.getPort());
}
}
}
SpringBoot帮我们提供了修改负载均衡规则的配置入口,在service-consumer的application.yml中添加如下配置:
server:
port: 80
spring:
application:
name: service-consumer
eureka:
client:
service-url:
defaultZone: http://127.0.0.1:10086/eureka
service-provider:
ribbon:
NFLoadBalancerRuleClassName: com.netflix.loadbalancer.RandomRule
格式是:{服务名称}.ribbon.NFLoadBalancerRuleClassName
,值就是IRule的实现类。
再次测试,就变为了随机
Hystrix,英文意思是豪猪,全身是刺,是一种保护机制。
Hystrix也是Netflix公司的一款组件。
主页:https://github.com/Netflix/Hystrix/
Hystix是Netflix开源的一个延迟和容错库,用于隔离访问远程服务、第三方库,防止出现级联失败。
微服务中,服务间调用关系错综复杂,一个请求,可能需要调用多个微服务接口才能实现,会形成非常复杂的调用链路:
如图,一次业务请求,需要调用A、P、H、I四个服务,这四个服务又可能调用其它服务。
如果此时,某个服务出现异常:
例如微服务I发生异常,请求阻塞,用户不会得到响应,则tomcat的这个线程不会释放,于是越来越多的用户请求到来,越来越多的线程会阻塞:
服务器支持的线程和并发数有限,请求一直阻塞,会导致服务器资源耗尽,从而导致所有其它服务都不可用,形成雪崩效应。
Hystix解决雪崩问题的手段有两个:
Hystrix为每个依赖服务调用分配一个小的线程池,如果线程池已满调用将被立即拒绝,默认不采用排队.加速失败判定时间。
用户的请求将不再直接访问服务,而是通过线程池中的空闲线程来访问服务,如果线程池已满,或者请求超时,则会进行降级处理.
服务降级:优先保证核心服务,而非核心服务不可用或弱可用。
用户的请求故障时,不会被阻塞,更不会无休止的等待或者看到系统崩溃,至少可以看到一个执行结果(例如返回友好的提示信息) 。
服务降级虽然会导致请求失败,但是不会导致阻塞,而且最多会影响这个依赖服务对应的线程池中的资源,对其它服务没有响应。
触发Hystix服务降级的情况:
<dependency>
<groupId>org.springframework.cloudgroupId>
<artifactId>spring-cloud-starter-netflix-hystrixartifactId>
dependency>
@SpringCloudApplication 包括了上述三种注解。
可以使用这个组合注解来代替之前的3个注解。
改造service-consumer,当目标服务的调用出现故障,希望快速失败,给用户一个友好提示。因此需要提前编写好失败时的降级处理逻辑,要使用HystixCommond来完成:
@Controller
@RequestMapping("consumer/user")
public class UserController {
@Autowired
private RestTemplate restTemplate;
@GetMapping
@ResponseBody
@HystrixCommand(fallbackMethod = "queryUserByIdFallBack")
public String queryUserById(@RequestParam("id") Long id) {
String user = this.restTemplate.getForObject("http://service-provider/user/" + id, String.class);
return user;
}
public String queryUserByIdFallBack(Long id){
return "请求繁忙,请稍后再试!";
}
}
因为熔断的降级逻辑方法必须跟正常逻辑方法保证:相同的参数列表和返回值声明。失败逻辑中返回User对象没有太大意义,一般会返回友好提示。所以把queryById的方法改造为返回String,反正也是Json数据。这样失败逻辑中返回一个错误说明,会比较方便。
说明:
测试:
当service-provder正常提供服务时,访问与以前一致。但是当我们将service-provider停机时,会发现页面返回了降级处理信息:
可以把Fallback配置加在类上,实现默认fallback:
@Controller
@RequestMapping("consumer/user")
@DefaultProperties(defaultFallback = "queryUserByIdFallback") //指定一个全局的熔断方法
public class UserController {
@Autowired
private RestTemplate restTemplate;
@ResponseBody
@GetMapping
@HystrixCommand //标记该方法需要熔断
public String queryUserById(@RequestParam Long id){
String baseUrl = "http://service-provider/user/" + id;
String user = this.restTemplate.getForObject(baseUrl, String.class);
return user;
}
//熔断方法,返回值要和被熔断的方法一致
public String queryUserByIdFallback(){
return "服务繁忙,请稍后再试";
}
}
可以通过hystrix.command.default.execution.isolation.thread.timeoutInMilliseconds
来设置Hystrix超时时间。该配置没有提示。
hystrix:
command:
default:
execution:
isolation:
thread:
timeoutInMilliseconds: 6000 # 设置hystrix的超时时间为6000ms
改造服务提供者
改造服务提供者的UserController接口,随机休眠一段时间,以触发熔断:
@GetMapping("{id}")
public User queryUserById(@PathVariable("id") Long id) {
try {
Thread.sleep(6000);
} catch (InterruptedException e) {
e.printStackTrace();
}
return this.userService.queryUserById(id);
}
熔断器,也叫断路器,其英文单词为:Circuit Breaker
熔断状态机3个状态:
为了能够精确控制请求的成功或失败,在consumer的调用业务中加入一段逻辑:
@ResponseBody
@GetMapping
@HystrixCommand //标记该方法需要熔断
public String queryUserById(@RequestParam Long id){
if(id == 1){
throw new RuntimeException("服务繁忙,请稍后再试");
}
String baseUrl = "http://service-provider/user/" + id;
String user = this.restTemplate.getForObject(baseUrl, String.class);
return user;
}
如果参数是id为1,一定失败,其它情况都成功。
准备两个请求窗口:
当疯狂访问id为1的请求时(超过20次),就会触发熔断。断路器会断开,一切请求都会被降级处理。
此时访问id为2的请求,会发现返回的也是失败,而且失败时间很短,只有几毫秒左右:
<dependency>
<groupId>org.springframework.cloudgroupId>
<artifactId>spring-cloud-starter-openfeignartifactId>
dependency>
添加注解,开启Feign功能
@SpringCloudApplication
@EnableFeignClients //开启feign客户端
public class ServiceConsumerApplication {
@Bean
@LoadBalanced //开启负载均衡
public RestTemplate restTemplate(){
return new RestTemplate();
}
public static void main(String[] args) {
SpringApplication.run(ServiceConsumerApplication.class, args);
}
}
添加一个UserClient接口
@FeignClient(value = "service-provider") //标注该类是一个feign接口
public interface UserClient {
@GetMapping("user/{id}")
User queryById(@PathVariable Long id);
}
@FeignClient
,声明这是一个Feign客户端,类似@Mapper
注解。同时通过value
属性指定服务名称改造原来的调用逻辑,调用UserClient接口:
@Controller
@RequestMapping("consumer/user")
public class UserController {
@Autowired
private UserClient userClient;
@ResponseBody
@GetMapping
public User queryUserById(@RequestParam Long id){
return this.userClient.queryById(id);
}
}
开启Hystrix的集成:
feign:
hystrix:
enabled: true
1.定义一个类UserClientFallback,实现刚才编写的UserClient,作为fallback的处理类
@Component
public class UserClientFallback implements UserClient{
@Override
public User queryById(Long id) {
User user = new User();
user.setName("服务器繁忙");
return user;
}
}
2.然后在UserFeignClient中,指定刚才编写的实现类
@FeignClient(value = "service-provider",fallback = UserClientFallback.class) //标注该类是一个feign接口
public interface UserClient {
@GetMapping("user/{id}")
User queryById(@PathVariable Long id);
}
使用Spring Cloud实现微服务的架构
我们使用Spring Cloud Netflix中的Eureka实现了服务注册中心以及服务注册与发现;而服务间通过Ribbon或Feign实现服务的消费以及均衡负载。为了使得服务集群更为健壮,使用Hystrix的融断机制来避免在微服务架构中个别服务出现异常时引起的故障蔓延。
在该架构中,我们的服务集群包含:内部服务Service A和Service B,他们都会注册与订阅服务至Eureka Server,而Open Service是一个对外的服务,通过均衡负载公开至服务调用方。我们把焦点聚集在对外服务这块,直接暴露我们的服务地址,这样的实现是否合理,或者是否有更好的实现方式呢?
这样架构的不足
破坏了服务无状态特点。
为了保证对外服务的安全性,我们需要实现对服务访问的权限控制,而开放服务的权限控制机制将会贯穿并污染整个开放服务的业务逻辑,这会带来的最直接问题是,破坏了服务集群中REST API无状态的特点。
从具体开发和测试的角度来说,在工作中除了要考虑实际的业务逻辑之外,还需要额外考虑对接口访问的控制处理。
无法直接复用既有接口。
当我们需要对一个即有的集群内访问接口,实现外部服务访问时,我们不得不通过在原有接口上增加校验逻辑,或增加一个代理调用来实现权限控制,无法直接复用原有的接口。
为了解决上面这些问题,我们需要将权限控制这样的东西从我们的服务单元中抽离出去,而最适合这些逻辑的地方就是处于对外访问最前端的地方,我们需要一个更强大一些的均衡负载器的 服务网关。
服务网关是微服务架构中一个不可或缺的部分。通过服务网关统一向外系统提供REST API的过程中,除了具备服务路由
、均衡负载
功能之外,它还具备了权限控制
等功能。Spring Cloud Netflix中的Zuul就担任了这样的一个角色,为微服务架构提供了前门保护的作用,同时将权限控制这些较重的非业务逻辑内容迁移到服务路由层面,使得服务集群主体能够具备更高的可复用性和可测试性。
不管是来自于客户端(PC或移动端)的请求,还是服务内部调用。一切对服务的请求都会经过Zuul这个网关,然后再由网关来实现 鉴权、动态路由等等操作。Zuul就是我们服务的统一入口。
server:
port: 10000 #服务端口
spring:
application:
name: api-gateway #指定服务名
通过@EnableZuulProxy
注解开启Zuul的功能:
@SpringBootApplication
@EnableZuulProxy //开启网关功能
public class ZhZuulApplication {
public static void main(String[] args) {
SpringApplication.run(ZhZuulApplication.class, args);
}
}
server:
port: 10010 #服务端口
spring:
application:
name: api-gateway #指定服务名
zuul:
routes:
service-provider: # 这里是路由id,随意写
path: /service-provider/** # 这里是映射路径
url: http://127.0.0.1:8081 # 映射路径对应的实际url地址
将符合path
规则的一切请求,都代理到 url
参数指定的地址
本例中,将 /service-provider/**
开头的请求,代理到http://127.0.0.1:8081
访问的路径中需要加上配置规则的映射路径,我们访问:http://127.0.0.1:10010/service-provider/user/1
在刚才的路由规则中,把路径对应的服务地址写死了!如果同一服务有多个实例的话,这样做显然就不合理了。应该根据服务的名称,去Eureka注册中心查找服务对应的所有实例列表,然后进行动态路由才对
<dependency>
<groupId>org.springframework.cloudgroupId>
<artifactId>spring-cloud-starter-netflix-eureka-clientartifactId>
dependency>
eureka:
client:
registry-fetch-interval-seconds: 5 # 获取服务列表的周期:5s
service-url:
defaultZone: http://127.0.0.1:10086/eureka
@SpringBootApplication
@EnableZuulProxy // 开启Zuul的网关功能
@EnableDiscoveryClient
public class ZuulDemoApplication {
public static void main(String[] args) {
SpringApplication.run(ZuulDemoApplication.class, args);
}
}
zuul:
routes:
service-provider: /provider/** #路由id,随意写
service-consumer: /consumer/**
prefix: /api #添加路有前缀
通过zuul.prefix=/api
来指定了路由的前缀,这样在发起请求时,路径就要以/api开头。
在使用Zuul的过程中,上面讲述的规则已经大大的简化了配置项。但是当服务较多时,配置也是比较繁琐的。因此Zuul就指定了默认的路由规则:
service-provider
,则默认的映射路径就 是:/service-provider/**
Zuul作为网关的其中一个重要功能,就是实现请求的鉴权。往往是通过Zuul提供的过滤器来实现的。
ZuulFilter是过滤器的顶级父类。其中定义的4个最重要的方法:
public abstract ZuulFilter implements IZuulFilter{
abstract public String filterType();
abstract public int filterOrder();
boolean shouldFilter();// 来自IZuulFilter
Object run() throws ZuulException;// IZuulFilter
}
shouldFilter
:返回一个Boolean
值,判断该过滤器是否需要执行。返回true执行,返回false不执行。run
:过滤器的具体业务逻辑。filterType
:返回字符串,代表过滤器的类型。包含以下4种:
pre
:请求在被路由之前执行route
:在路由请求时调用post
:在route和errror过滤器之后调用error
:处理请求时发生错误调用filterOrder
:通过返回的int值来定义过滤器的执行顺序,数字越小优先级越高。异常流程:
@Component
public class LoginFilter extends ZuulFilter {
/**
* 过滤器类型,前置过滤器
* @return
*/
@Override
public String filterType() {
return "pre";
}
/**
* 过滤器执行顺序
* @return
*/
@Override
public int filterOrder() {
return 10;
}
/**
* 该过滤器是否生效,true为生效
* @return
*/
@Override
public boolean shouldFilter() {
return true;
}
/**
* 业务逻辑
* @return
* @throws ZuulException
*/
@Override
public Object run() throws ZuulException {
// 获取zuul提供的上下文对象
RequestContext context = RequestContext.getCurrentContext();
// 从上下文对象中获取请求对象
HttpServletRequest request = context.getRequest();
// 获取token信息
String token = request.getParameter("token");
// 判断
if (StringUtils.isBlank(token)){
// 过滤该请求,不对其进行路由
context.setSendZuulResponse(false);
// 设置响应状态码,401
context.setResponseStatusCode(HttpStatus.SC_UNAUTHORIZED);
// 设置响应信息
context.setResponseBody("request error");
}
// 校验通过,把登陆信息放入上下文信息,继续向后执行
context.set("token",token);
return null;
}
}