关于异步操作的汇总

随着互联网用户体验,和性能的要求,异步操作越来越凸显重要性。
所谓异步操作勉强理解为事件发生不在同一时间完成。结合一些自己用到的技术总结一下此类运用。

基于后台:
redis resque

Resque是这样解决这些问题的:
后台任务的角色划分
其实从上面的问题已经可以看出,只靠一个消息队列是无法解决所有问题的,需要新的角色介入。在Resque中,一个后台任务被抽象为由三种角色共同完成:

Job | 任务 : 一个Job就是一个需要在后台完成的任务,比如本文举例的发送邮件,就可以抽象为一个Job。在Resque中一个Job就是一个Class。
Queue | 队列 : 也就是上文的消息队列,在Resque中,队列则是由Redis实现的。Resque还提供了一个简单的队列管理器,可以实现将Job插入/取出队列等功能。
Worker | 执行者 : 负责从队列中取出Job并执行,可以以守护进程的方式运行在后台。
那么基于这个划分,一个后台任务在Resque下的基本流程是这样的:

将一个后台任务编写为一个独立的Class,这个Class就是一个Job。
在需要使用后台程序的地方,系统将Job Class的名称以及所需参数放入队列。
以命令行方式开启一个Worker,并通过参数指定Worker所需要处理的队列。
Worker作为守护进程运行,并且定时检查队列。
当队列中有Job时,Worker取出Job并运行,即实例化Job Class并执行Class中的方法。
至此就可以完整的运行完一个后台任务。

在Resque中,还有一个很重要的设计:一个Worker,可以处理一个队列,也可以处理很多个队列,并且可以通过增加Worker的进程/线程数来加快队列的执行速度。
更多详细见 http://www.cnblogs.com/youxin/p/3986580.html

python celery
celery和Resque的设计理念有很大不同,Resque可以理解为将sql实现在类代码中,celery则是直接将要执行的sql记录到数据库表中做调用。

rake+crontab+时间表字段


rufus-scheduler

基于数据库:oracle存储过程+job

你可能感兴趣的:(redis)