中小型研发团队架构实践之任务调度Job

中小型研发团队架构实践之任务调度Job

2017-11-04 张辉清、杨丽

作者丨张辉清、杨丽

编辑｜小智

社区里不是缺少架构图，而是缺少确实可参考的架构落地实践。大公司的架构看上去总是不明觉厉，但真要借鉴时却往往无从下手。也许，中小型研发团队的架构实践才是可供复制的？本文是张辉清专栏——《中小研发团队架构实践》的第五篇，今天我们聊聊任务调度 Job。

系列文章附录

以下文章点击标题即可阅读

• 《可参考的才是有价值的：中小型研发团队架构落地实践 18 篇，含案例、代码》
• 《中小研发团队架构实践之总体架构设计》
• 《如何统一公司所有应用分层？》
• 《RabbitMQ 快速入门及应用》

一、Job 简介

Job 类似于数据库中的作业，多用于实现定时执行任务。适用场景主要包括定时轮询数据库同步、定时处理数据、定时邮件通知等。

我们的 Job 分为操作系统级别定时任务 WinJob 和 HttpJob，其中，WinJob 使用开源的任务调度框架 Quartz.NET+ ZooKeeper 实现，HttpJob 的服务端是自主开发实现的，可以直接定时调用你的计划任务如微服务。下面分别予以介绍。

二、WinJob

WinJob 使用 Quartz.NET+ZooKeeper 来实现，Quartz.NET 实现调度，ZooKeeper 使用 MasterElection 来实现高可用，解决单点问题。ZooKeeper 后继有文章单独介绍，这里重点介绍 Quartz.NET 框架的使用。

Quartz.NET 是一个全功能的开源任务调度框架，通过简单的配置就可以实现强大的任务调度功能，使得开发人员不用过多关注任务的调度，只用关注项目的业务逻辑。使用任务调度框架的价值：

1、提高开发效率：开发人员只需要编写业务代码，而具体的任务调度只需要通过配置就可以实现。

2、提高软件的可靠性：同一应用多个任务之间可以很好的隔离起来，互不影响。

3、降低开发人员成本和开发复杂度：开发人员不需要对线程、Timer 很了解，就能实现一个强大的执行计划应用。

4、容易迁移：只需实现 Quartz.IJob 接口即可，调用一次业务逻辑的入口即可。

5、容易扩展：新业务只需增加配置即可。

基于 Quartz.NET 实现 Job 调度的方法：

在后端服务声明实例化一个调度器，在启动服务的时候启动调度器，相应的代码如下所示：

///

/// 当前调度服务的调度器 ///

public IScheduler CurrentSched { get; private set; } public JobService() { InitializeComponent(); StdSchedulerFactory schedulerFactory = new StdSchedulerFactory(); CurrentSched = schedulerFactory.GetScheduler(); } protected override void OnStart(string[] args) { CurrentSched.Start(); logger.Info("调度服务成功启动！"); }

创建相应的任务和触发器，之后把任务和关联的触发器加入之前声明的调度器 CurrentSched，相应的代码如下所示：

///

/// 演示一个任务多触发器的使用 ///

private static void JobWithManyTriggerDemo() { IJobDetail simpleJob = JobBuilder.Create().WithIdentity("任务名称", "任务组名").Build(); // 创建一个 simpleJob 任务 ITrigger simpleTrigger = TriggerBuilder.Create().WithIdentity("触发器名称 3", "触发器组名").StartNow() .WithSimpleSchedule(x => x.WithIntervalInSeconds(5).RepeatForever()).Build(); // 创建一个简单触发器，每隔 5 秒执行一次 CurrentSched.ScheduleJob(simpleJob, simpleTrigger); // 把 simpleJob 任务、简单触发器加入调度器 ITrigger cronTrigger = TriggerBuilder.Create().WithIdentity("触发器名称 4", "触发器组名").StartNow() .WithCronSchedule("/10 * * ? * *").ForJob(simpleJob).Build(); // 创建一个为任务“simpleJob”服务的 Cron 触发器，每隔 10 秒执行一次 CurrentSched.ScheduleJob(cronTrigger); // 把 Cron 触发器加入调度器 }

在业务逻辑层继承 IJob 接口，并实现 Execute 方法，在该方法内实现需要调度的业务逻辑，相应的代码如下所示：

///

/// 简单任务 ///

public class SimpleJob : IJob { ILog logger = LogManager.GetLogger(typeof(SimpleJob)); public void Execute(IJobExecutionContext context) { Console.WriteLine("简单的任务演示！" + DateTime.Now.ToString("HH:mm:ss")); logger.Info("简单的任务演示！" + DateTime.Now.ToString("HH:mm:ss")); // 业务逻辑处理 Thread.Sleep(2000); } }

三、HttpJob

通过自主开发的 JobServer，结合自主开发的 Job 集中式管理平台，可以实现满足绝大部分场景的 Job 调度。 这种 Job 调度使用方式使你只需关注实现业务系统的业务逻辑部分即可，无需在业务系统中额外关注如何使用 Quartz.NET。

3.1、HttpJob 的服务端实现

JobServer 实现的主要逻辑：

1、借助 Quartz，可实现多个线程（如 10 个线程）同时调用多个 HttpJob；

2、实现了 Get、Post、Head 三种方式的请求；

3、借助 ZooKeeper的 MasterElection 来实现高可用，实现自动主备切换；

4、记录日志，方便追踪。

3.2、HttpJob 的后台——Job 集中式管理平台

在集中式 Job 管理平台中，配置相应的 Job 信息。配置完 Job 信息后，JobServer 获取到这些 Job 信息后，就能够定时执行这些 Job。要配置的 Job 信息包括 Job 的任务名称、任务组名、请求地址、请求类型、开始时间、触发器类型、次数、间隔时间 (s)、Cron-Like 表达式以及状态。

其中请求地址就是 JobServer 实际定时调用的任务的 http 地址，例如 HttpJobDemo 的 WebForm1.aspx 这个任务的运行地址 http://localhost:10786/WebForm1.aspx。

[图片上传失败...(image-5c0de8-1521599419093)]

3.3、采用 HttpJob 进行任务调度的优势和约束

采用 HttpJob 的优势：

1、高可用：借助网站集群巧妙地解决 Job 服务的单点问题。

2、方便发布：不用重启 Job 服务。

3、减少依赖，易学易用，不用关注线程、Windows 服务方面的知识。

4、数据分片，可以采用 URL 来取模 + 多个 HttpJob。

采用 HttpJob 的约束：

1、由于请求 HttpJob 的最长响应时间是 30 秒，所以 Job 运行时间一旦超过 30 秒，则建议为 Job 先创建异步线程，立即返回。

2、Job 调度的频率最少间隔时间是 1 分钟，因为通过 HttpJob 通知并不是件高效的事情。

3、为了安全应建立专业的 Job 集群，一般两台即可，外部不可访问，SLB 采用简单轮询方案。

4、新增及修改 Job 配置，10 分钟生效。

四、Cron 表达式

Cron 表达式格式：秒 分 时 日 月 周 年（可选）。要遵守的规范请见下表：

[图片上传失败...(image-a44d7b-1521599419093)]

五、Demo 下载及更多资料

• WinJobDemo 下载地址：

https://github.com/das2017/QuartzDemo

• HttpJobDemo 下载地址：

https://github.com/das2017/HttpJobDemo

• Quartz.NET 官网：

http://www.quartz-scheduler.net/

• Quartz.NET 开源网址：

https://github.com/quartznet/quartznet

---

[图片上传失败...(image-87a9e8-1521599419092)]

微信扫一扫

关注该公众号