1.分布式调度Elastic-job(2022年1月24日)

1.概述

1.1什么是任务调度

我们可以思考一下下面业务场景的解决方案:

  • 某电商平台需要每天上午10点,下午3点,晚上8点发放一批优惠券
  • 某银行系统需要在信用卡到期还款日的前三天进行短信提醒
  • 某财务系统需要在每天凌晨0:10分结算前一天的财务数据,统计汇总

以上场景就是任务调度所需要解决的问题

任务调度是为了自动完成特定任务,在约定的特定时刻去执行任务的过程
我们在之前骡窝窝项目的学习中,使用过Spring中提供的定时任务注解@Scheduled
在业务类中方法中贴上这个注解

@Scheduled(cron = " 0/20 * * * * ? ")
public void doWork(){
//do sth
}

然后在启动类上贴上@EnableScheduling注解


1.2为什么需要分布式调度

感觉Spring给我们提供的这个注解可以完成任务调度的功能,好像已经完美解决问题了,为什么还需要分布式呢?
主要有如下这几点原因:
1.单机处理极限︰原本1分钟内需要处理1万个订单,但是现在需要1分钟内处理10万个订单;原来一个统计需要1小时,现在业务方需要10分钟就统计出来。你也许会说,你也可以多线程、单机多进程处理。的确,多线程并行处理可以提高单位时间的处理效率,但是单机能力毕竟有限(主要是CPU、内存和磁盘),始终会有单机处理不过来的情况。

2.高可用:单机版的定式任务调度只能在一台机器上运行,如果程序或者系统出现异常就会导致功能不可用。虽然可以在单机程序实现的足够稳定,但始终有机会遇到非程序引起的故障,而这个对于一个系统的核心功能来说是不可接受的。

3.防止重复执行:在单机模式下,定时任务是没什么问题的。但当我们部署了多台服务,同时又每台服务又有定时任务时,若不进行合理的控制在同一时间,只有一个定时任务启动执行,这时,定时执行的结果就可能存在混乱和错误了

这个时候就需要分布式的任务调度来实现了。


1.3 Elastic-Job介绍

Elastic-Job是一个分布式调度的解决方案,由当当网开源,它由两个相互独立的子项目Elastic-job-Lite和Elastic-Job-Cloud组成,使用Elastic-Job可以快速实现分布式任务调度。
Elastic-Job的github地址: https://github.com/elasticjob

功能列表:

  • 分布式调度协调: 在分布式环境中,任务能够按照指定的调度策略执行,并且能够避免同一任务多实例重复执行。
  • 丰富的调度策略︰ 基于成熟的定时任务作业框架Quartz cron表达式执行定时任务。
  • 弹性拓容缩容: 当集群中增加一个实例,它应当能够被选举被执行任务;当集群减少一个实例时,他所执行的任务能被转移到别的示例中执行。
  • 失效转移: 某示例在任务执行失败后,会被转移到其他实例执行。
  • 错过执行任务重触发: 若因某种原因导致作业错过执行,自动记录错误执行的作业,并在下次次作业完成后自动触发。
  • 支持并行调度: 支持任务分片,任务分片是指将一个任务分成多个小任务在多个实例同时执行
  • 作业分片一致性: 当任务被分片后,保证同一分片在分布式环境中仅一个执行实例。
  • 支持作业生命周期操作:可以动态对任务进行开启及停止操作。
  • 丰富的作业类型:支持Simple、DataFlow、Script三种作业类型
1.4 Elastic-Job架构图
Elastic-Job架构图

你可能感兴趣的:(1.分布式调度Elastic-job(2022年1月24日))