php队列使用php-resque(1)
php队列使用php-resque(2)
php队列使用php-resque(3)- by supervisor
-- 总体说明 --
下面是一个网上的中文的说明
www.fzb.me/2015-7-31-beanstalkd-faq.html
这里分为我们常见的服务端和客户端。
服务端是使用人很多的beanstalkd,其实叫做消息队列比较合适。
它和我们前面介绍的php-resque差别:
1、php-resque不区分明显的客户端和服务端,beanstalkd区分,较符合我们常用的思维方式。
2、php-resque只需安装redis并运行,而beanstalkd是自己写的服务端与其他软件无关,也不需要。
3、php-resque不能持久化,而beanstalkd可以,但实际不用为好,因为太慢。
4、php-resque和beanstalkd都很轻量级,都很容易使用。
5、最重要的php-resque不能使用延时队列(或者说需要其他组件补充),而beanstalkd可以。
6、php-resque许久不更新了,而beanstalkd在composer上次更新是2015年,好不少。
7、php-resque没有优先级,而beanstalkd有优先级,但我也不用。
8、为了防止某个consumer长时间占用任务但不能处理的情况,Beanstalkd为reserve操作设置了timeout时间,如果该consumer不能在指定时间内完成job,job将被迁移回READY状态,供其他consumer执行。
介绍一下延时队列,我可以放一个消息,但希望该消息在某个特定时点才真正进入队列,从而被取出。
而普通的队列,你放入消息到队列里,就无法控制它,只要它前面没有别的消息,它就立刻会被取出。
客户端可以选用多种语言,php也有多个类库,但composer仓库下载最多的是pda/pheanstalk
==============================
服务端说明:
1、一个消息有READY, RESERVED, DELAYED, BURIED四种状态
2、当producer直接put一个消息时,消息就处于READY状态
3、如果选择延迟put,消息就先到DELAYED状态,等待时间过后才迁移到READY状态。任务状态会从 READY 变为 RESERVED(预定),其他人就无法获取。 PUT 产生消息的时候,携带了 ttr(time to run),如果这个时间内,消费者没有发送 delete, release 或者 buried 命令。 任务会自动回到 READY 状态,其他人可以继续获取。(注意:消费者返回 release 命令或者不返回,就回到 READY/DELAYED 状态,可以重新被消费!!这可能是我们不希望的)
4、如果获取了当前READY的消息后,该消息的状态就迁移到RESERVED,这样其他的任何进程就不能再操作该消息。确保唯一使用。
5、BURIED这个,为防止一个消息被调用多次,可以使用此接口。
6、程序有一个delete操作,一个消息被delete之后,就完全消失,不属于上面的4种情况中任何一种,并且,一般来说,就应该在获取消息之后对其delete,绝对不可以省略。
Beanstalkd的job状态多样化,支持任务优先级 (priority), 延时 (delay), 超时重发 (time-to-run) 和预留 (buried), 能够很好的支持分布式的后台任务和定时任务处理。
它的内部实现采用 libevent, 服务器-客户端之间用类似 memcached 的轻量级通讯协议,因此有很高的性能。
关于服务端使用的内存,只取决于队列大小,不限制。
缺点:无最大内存控制, 如果有消息堆积或者业务使用方式有误,而导致内存暴涨拖垮机器
-- 服务端安装 --
完整安装步骤,必须是类unix系统。
yum install beanstalkd
service beanstalkd start
上面的写法,会读取下列配置文件。
配置文件 /etc/sysconfig/beanstalkd
还有一种启动方法是直接启动,自己设置参数
当开启-b启动持久化后,其会将binlog每隔N秒(N可配置为0)刷入到硬盘,类似redis的aof持久化方式,一般不需要的。
-- 服务端监控 --
有很多
https://github.com/kr/beanstalkd/wiki/Tools
我挑选第一个下载
https://github.com/EdwinHoksberg/beanstalkd-cli/releases/tag/1.2.10
wget https://github.com/EdwinHoksberg/beanstalkd-cli/releases/download/1.2.10/beanstalkd-cli_linux_386 mv beanstalkd-cli_linux_386 beanstalkd-cli chmod a+x beanstalkd-cli mv beanstalkd-cli /usr/local/bin/beanstalkd-cli
使用极其简单,无需安装。
只要把文件解压即可,执行命令
./beanstalkd-cli --server 127.0.0.1 --port 11300 stats
或者
./beanstalkd-cli --server 127.0.0.1 --port 11300 monitor
但是不太直观。
-- 服务端监控的一个php的web监控控制台,超棒 --
使用方法,首先,电脑必须按照composer
然后,
composer create-project ptrofimov/beanstalk_console -s dev 目标目录
这个目标目录通常位于web根目录下。一句命令就把控制台安装成功。
然后,
打开浏览器
http://域名/目标目录/public/index.php
神奇的控制台就出现了。
php好棒!
-- 客户端安装 --
composer安装
"pda/pheanstalk":"3.1.0"
-- 客户端代码 --
为简单,写一个文件里了,真实项目肯定分开
mt_rand(1,2), 'mobile' => '13051662435', 'id' => mt_rand(100,200), 'time' => date("Y-m-d H:i:s"), ); $delay = (int) strtotime($data['time']) - time(); $delay=0; // 把消息放入队列,1024 是优先级 //$delay 非常重要,假设设置10,则该消息10秒后才被放入队列!非常好使。 $beanstalkd->useTube( Worker::queue_name ) ->put(serialize($data), 1024, $delay); } /** * 这是运行队列管理器。 */ public function run() { $worker = new Worker(); $worker->run(); } } /** * 这是真正的任务执行1 * @author Administrator * */ class WorkerJob1 { public function excute($data) { echo "---\n"; echo ('job:type1:'.print_r($data, 1)); echo "---\n"; } } /** * 这是真正的任务执行2 * @author Administrator * */ class WorkerJob2 { public function excute($data) { echo "---\n"; echo ('job:type2:'.print_r($data, 1)); echo "---\n"; } } /** * 这是队列管理器守护进程,最好用supervisord这个软件支持一下。 且应该放在linux的后台执行 * @author Administrator * */ class Worker { private $job1; //任务对象 private $job2; //这是任务对象 private $pheanstalk;//这是服务 // 设置队列名称。随意起 const queue_name ="queue1"; public function __construct() { $this->log('starting'); $this->pheanstalk = new Pheanstalk('127.0.0.1:11300'); $this->job1 = new WorkerJob1(); $this->job2 = new WorkerJob2(); } public function excute($data) { if ($data['type']==1) { $this->job1->excute($data); }elseif ($data['type']==2) { $this->job2->excute($data); } } public function run() { $this->log('starting to run'); while(true) { $job = $this->pheanstalk->watch( self::queue_name )->ignore('default')->reserve(); $job_data = unserialize( $job->getData()); // 真正工作的就这句。 $this->excute($job_data); //删除千万不能忘记。 $this->pheanstalk->delete($job); $memory = memory_get_usage(); //这是一个保险措施。也可以去除。 if($memory > 100000000) { $this->log('exiting run due to memory limit'); exit; } } } private function log($txt) { echo "worker: ".$txt."\n"; } }
-- 浏览器输出 --
![php轻量队列(4)-pheanstalk_第1张图片](http1://img.it610.com/image/info5/2110ae5e26d749f6960a6276708eb6fe.png)