在 [1.31]-新型计划任务:以接口形式实现的计划任务 一章中,我们讨论了PhalApi中对计划任务的设计和底层实现。
但对于很多应用,很多项目,或者很多同学来说,仍然比较广泛,不能直接使用。
这一章则专门为此而进行演进,并提供最终可用的计划任务调度,同时我们也会阐明如何进行扩展定制。
也就是说,这一章将提供Task扩展类库的统一调度方式,以便在启动crontab任务后,可以通过数据库简单配置,即可执行各种任务。
出于对业务的考虑,我们首先需要明确此crontab调度方式所支持的功能,它应该包括但不限于:
1、通过简单的数据库配置,即可启动一个新的任务
2、具备循环调度的能力,并能初步防止并发调度
3、可以对异常的任务进行修复
4、优先执行太远未执行的任务
5、支持本地和远程两种调度方式、三种MQ类型,以及扩展的能力
在原来的时序图基础上,我们可以进行演进的设计,追加了统一的调度后如下所示:
通过上面详细的时序图,我们可以发现里面的设计是出于这样的分层考虑:
序号 | 层 | 关键操作 | 说明 | 如何使用 |
---|---|---|---|---|
1 | 启动脚本 | crontab.php | 操作crontab执行的脚本 | 客户端可以进行必要的初始化工作 |
2 | 进程级 | Task_Progress::run() | 根据进程配置的数据库表,进行循环调度 | 不需要改动,直接使用 |
3 | 触发器 | Task_Trigger::fire() | 进行计划任务调度的上下文环境,用于指定runner和mq类型 | 客户端也可进行定制扩展,进行必要的操作 |
4 | MQ消费与调度 | Task_MQ::pop()和Task_Runner::go() | 不断消费MQ队列,并依次进行调度 | 不需要改动,直接使用,也可扩展 |
5 | 计划任务服务 | PhalApi_Api::doSth() | 执行计划任务服务 | 由客户端按接口形式实现 |
虽然上面的层级,初看起来有点多,但我们再次验证了计算机那个伟大的定论:计算机的任何问题都可以通过一个中间层来解决。
由此看出,上面的层级其实相当于:
客户端初始化 --> 直接使用 --> 自由组合与操作 --> 直接使用 --> 任务服务实现
CREATE TABLE `phalapi_task_progress` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `title` varchar(200) DEFAULT '' COMMENT '任务标题', `trigger_class` varchar(50) DEFAULT '' COMMENT '触发器类名', `fire_params` varchar(255) DEFAULT '' COMMENT '需要传递的参数,格式自定', `interval_time` int(11) DEFAULT '0' COMMENT '执行间隔,单位:秒', `enable` tinyint(1) DEFAULT '1' COMMENT '是否启动,1启动,0禁止', `result` varchar(255) DEFAULT '' COMMENT '运行的结果,以json格式保存', `state` tinyint(1) DEFAULT '0' COMMENT '进程状态,0空闲,1运行中,-1异常退出', `last_fire_time` int(11) DEFAULT '0' COMMENT '上一次运行时间', PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8;
对此表的关键字段说明如下:
字段 | 说明 | 示例 |
---|---|---|
trigger_class | 触发器的类名 | 须实现Task_Progress_Trigger::fire($params)接口 |
fire_params | 触发器的参数 | 加传给Task_Progress_Trigger::fire()函数的参数,格式为:service&MQ类名&runner类名 |
interval_time | 执行间隔 | 单位为秒 |
enable | 是否启动 | 此字段禁止时,将不再执行 |
state | 进程状态 | 当此状态一直为异常或者运行且超过1天时,系统会进行修复,即重置为空闲状态 |
其中,对于fire_params参数,MQ类名和runner类名可选,以下是一些示例:
//示例1:完整的配置 //fire_params=Task_Demo.DoSth&Task_MQ_DB&Task_Runner_Local $mq = new Task_MQ_DB(); $runner = new Task_Runner_Local($mq); $runner->go('Task_Demo.DoSth'); //示例2:使用默认的Runner //fire_params=Task_Demo.DoSth&Task_MQ_DB $mq = new Task_MQ_DB(); $runner = new Task_Runner_Local($mq); //默认使用本地Runner $runner->go('Task_Demo.DoSth'); //示例3:使用默认的MQ和默认的Runner //fire_params=Task_Demo.DoSth $mq = new Task_MQ_Redis(); //默认使用redis的MQ $runner = new Task_Runner_Local($mq); //默认使用本地Runner $runner->go('Task_Demo.DoSth'); //示例4:使用自定义的MQ和Runner //fire_params=Task_Demo.DoSth&My_MQ&My_Runner class My_MQ implements Task_MQ { // ... } class My_Runner extends Task_Runner { // ... } $mq = new My_MQ(); $runner = new My_Runner($mq); $runner->go('Task_Demo.DoSth');
最终的效果就是,我们通过这样两行简单的代码,即可实现一系列复杂的任务调度:
$progress = new Task_Progress(); $progress->run();
让我们来看下这样设计的运行效果吧!看下这两行代码背后所产生的魔力。
首先,我们先添加两条计划任务:
INSERT INTO `phalapi_task_progress` VALUES ('1', 'test demo', 'Task_Progress_Trigger_Common', 'Task_Demo.DoSth&Task_MQ_File&Task_Runner_Local', '300', '1', '', '0', '0'); INSERT INTO `phalapi_task_progress` VALUES ('2', 'test ok', 'Task_Progress_Trigger_Common', 'Default.Index&Task_MQ_DB&Task_Runner_Local', '100', '1', '', '0', '0');
然后,伪造一些MQ:
INSERT INTO `phalapi_task_mq_0` VALUES ('8', 'Default.Index', '', '0', '');
最后,生成单元测试:
<?php class PhpUnderControl_TaskProgress_Test extends PHPUnit_Framework_TestCase { public $taskProgress; protected function setUp() { parent::setUp(); $this->taskProgress = new Task_Progress(); } /** * @group testRun */ public function testRun() { $rs = $this->taskProgress->run(); } }
并执行之:
$ phpunit ./Task_Progress_Test.php [1 - 0.06666s]SELECT id, title FROM phalapi_task_progress WHERE (state != ?) AND (last_fire_time < ?) AND (enable = ?) ORDER BY last_fire_time ASC; -- 0, 1431965153, 1<br> [2 - 0.07002s]SELECT id, title, trigger_class, fire_params FROM phalapi_task_progress WHERE (state = 0) AND (interval_time + last_fire_time < ?) AND (enable = ?); -- 1432051553, 1<br> [3 - 0.06549s]SELECT enable, state FROM phalapi_task_progress WHERE (id = '1');<br> [4 - 0.07432s]UPDATE phalapi_task_progress SET state = 1 WHERE (id = '1');<br> [5 - 0.06469s]UPDATE phalapi_task_progress SET result = '{\"total\":0,\"fail\":0}', state = 0, last_fire_time = 1432051553 WHERE (id = '1');<br> [6 - 0.06746s]SELECT enable, state FROM phalapi_task_progress WHERE (id = '2');<br> [7 - 0.07043s]UPDATE phalapi_task_progress SET state = 1 WHERE (id = '2');<br> [8 - 0.06673s]SELECT id, params FROM phalapi_task_mq_0 WHERE (service = 'Default.Index') ORDER BY id ASC LIMIT 0,10;<br> [9 - 0.48185s]DELETE FROM phalapi_task_mq_0 WHERE (id IN ('8'));<br> [10 - 0.06514s]SELECT id, params FROM phalapi_task_mq_0 WHERE (service = 'Default.Index') ORDER BY id ASC LIMIT 0,10;<br> [11 - 0.50694s]UPDATE phalapi_task_progress SET result = '{\"total\":1,\"fail\":0}', state = 0, last_fire_time = 1432051553 WHERE (id = '2');<br> Time: 1.98 seconds, Memory: 6.50Mb OK (1 test, 0 assertions)
查看对比一下数据库,目前发现运行良好!
提交代码,保存文档,收工睡觉!
得益于前期良好的设计以及底层支持,我们发现,在提供这样一种统一的调度方式是非常方便的。
不仅如此,如果你明白了其中的设计,需要进行定制和扩展也是非常方便的。也就是说,我们不仅提供了一种具体实际可用的方式,也提供了广阔自由的扩展空间。具体与抽象,两者仍可得。
然而,这一切不仅依赖于良好的设计,还依赖于测试驱动开发下的浮现式设计。